Python関連のことを調べてみた2020年01月03日

Python関連のことを調べてみた2020年01月03日
目次

[NNabla]構築済みネットワークの中間層の出力(variable)を取得する方法

#はじめに
これは私のqiita初投稿です。(article1)
sonyが公開したDeep Learning用ライブラリnnablaについての記事です。私がnnablaを使っていた中で「こういう情報がqiitaとかにあったらよかったのに」と思いながらなんとか気合いで[nnablaのreference](https://nnabla.readthedocs.io/en/latest/)と`dir()`(pythonの標準関数。引数のメンバ変数・関数を返してくれる)で見つけてきたことについてまとめます。
#1. 要件
・OS: macOS Catalina (バージョン 10.15.1)
・python: 3.5.4
・nnabla: 1.3.0
#2. ネットワークの構築
サンプルのネットワークを下記で定義します。

“`article1_make_network.py
import nnabla as nn
import nnabla.functions as F

# [define network]
x = nn.Variable()
y = F.add_scalar(x, 0

元記事を表示

Django Rest Framework で RESTful な APIを作成する

# 概要

 この記事は初心者の自分がRESTful なAPIとswiftでiPhone向けのクーポン配信サービスを開発した手順を順番に記事にしています。技術要素を1つずつ調べながら実装したため、とても遠回りな実装となっています。

 前回の[SwiftのTableViewCellを使ってTableViewを自由にカスタマイズ](https://qiita.com/Ajyarimochi/items/0154030bde239d703806)で、データベースで管理するクーポン情報をAPIを通してアプリが取得し、リスト形式で表示するところまで作成しました。

 次はこのAPIをRESTfulなAPIに改造します。改造にあたりコードを大幅に変更するため、一旦GETで全てのクーポン情報をレスポンスするだけのAPIを実装し、その後にリクエストに応じたクーポン情報をレスポンスするよう修正を加えていきます。

### 参考
* [Django REST Framework の使い方メモ](https://qiita.com/__init__/items/f5a5a64a05541fcda713)

元記事を表示

APIの仕組みが分かる・使いこなせる人材になれる記事(Pythonコード付き)

## はじめに
プログラミングを勉強していて、APIってなんだ?と感じた経験はないでしょうか。

**「そもそもAPIを使って何ができるの?」**
**「どうやって使うの?」**

こういった悩みを解決するには **どのAPIにも共通する仕組み** を理解すると良いです。
具体的なPythonのコードまで紹介するので、読み終わる頃にはAPIの使い方が身に付いているはずです。

章構成は以下の通りです。

– APIとは(APIを使うメリット)
– APIを理解する
– APIサービスの例
– Pythonコードサンプル

※※SNS でも色々な情報を発信しているので、記事を読んで良いなと感じて頂けたら
[Twitterアカウント「Saku731」](https://twitter.com/Koji21825331) もフォロー頂けると嬉しいです。※※

## APIとは(APIを使うメリット)
APIは「**A**pplication **P**rogramming **I**nterface」の略です。
直訳すると以下の様になります。

– アプリケーション(Applic

元記事を表示

pythonで画像をパワポ資料に自動で貼り付ける +α

#はじめに
パワポのスライド1枚に1枚ずつ画像を貼り付けていって作業手順書にする、みたいなのありますよね。超絶単純作業なのになかなか時間かかるやつ。
単純な繰り返し作業なので、ネット上に転がっていたコードを用いて自動化したいと思います。
#目標実装機能
##少なくとも必ず実装したい機能
スライド1枚につき1枚の画像が貼り付けられたパワポの資料を自動で作成すること。
##願わくば
* 表紙の追加
* テキストボックスの追加
* 画像を貼り付けないスライドの挿入

##自動作成したいスライド
私の好きな某アニメの登場人物紹介スライドを作成したいと思っています。
構成は、
表紙→画像→キャラ説明→画像→キャラ説明→…(以下、画像とキャラ説明を交互に)
としています。
今回作成したコードを用いて自動作成したスライドは、最後にご紹介します。
#環境
python3.7.2
Windows10

#コード

“`python:ppt.py
import pptx
from pptx.util import Inches
from pptx import Presentation
from glo

元記事を表示

AppSyncをフロントエンドとバックエンドで利用する

# AppSyncをフロントエンドとバックエンドで利用する

この記事は[サーバーレスWebアプリ Mosaic](https://mosaic.w2or3w.com “Mosaic”)を開発して得た知見を振り返り定着させるための[ハンズオン記事](https://qiita.com/w2or3w/items/87b57dfdbcf218de91e2)の1つです。

以下を見てからこの記事をみるといい感じです。

* [Vue CLIで新規プロジェクト作成と、よくある雛形の実装](https://qiita.com/w2or3w/items/20d393560571f1531041)
* [Lambda + OpenCVで画像処理 (グレー画像作成)](https://qiita.com/w2or3w/items/e6feac50c751bbc64697)

## イントロダクション
アップロードした画像や処理された画像のデータ管理や、クライアント側とのデータ受け渡しのために、AppSyncというAPIを利用します。AppSyncのデータソースにはDynamoDBが使われます。
App

元記事を表示

DBに格納したデータを返すwebAPIをDjangoとSQLiteで開発する

# 概要

 この記事は初心者の自分がRESTfulなAPIとswiftでiPhone向けのクーポン配信サービスを開発した手順を順番に記事にしています。技術要素を1つずつ調べながら実装したため、とても遠回りな実装となっております。

 前回の [APIで取得したデータをswiftのTableViewに表示する](https://qiita.com/Ajyarimochi/items/3f56eb2ed474310506fc)までで、クーポン情報を配信するwebAPIと、そのwebAPIを利用してクーポンをユーザに届けるiPhoneアプリが”超”必要最低限レベルで出来上がりました。ここからwebAPIとアプリの実装方式や機能、UIを改善していきます。

 今回はクーポンのデータをハードコーディングしているのを、データベースで管理するように改造します。それに合わせてAPIのリクエストとレスポンスの仕様も再整理します。データベースはPythonに最初から組み込まれているSQLiteを使います。

### 参考

* Python Django 超入門 掌田津耶乃 著 秀和システム
* [P

元記事を表示

pythonで日本株価データをダウンロードしてくる

# Summary

スクレイピングなしで[株式投資メモ](https://kabuoji3.com/)から株価情報をダウンロードするスクリプトを書いた。

# 使用法

“`
python ./stockDownload.py -c 7203
“`
7203 トヨタ自動車(株)の2019年の日足データがcsvでダウンロードできる。
ダウンロード成功ならば`Code: 7203 download finished.`、失敗ならば`Code: not valid.`と返す。

# 動機
[Yahoo! finance](https://finance.yahoo.co.jp/)からスクレイピングは禁止されている。株価情報を[株式投資メモ](https://kabuoji3.com/)からスクレイピングする方法は公開されていた [^1] が、フォーマットが変更されれパースが上手く行かなくなる可能性がある。一方で、サイト内にダウンロードボタンがあるため、そちらを上手く活用できないか調査していた。

# ダウンロードがどのように行われているか
ダウンロードボタンを押した後、google

元記事を表示

多目的最適化ライブラリのplatypusを使ってみる

#多目的最適化
多目的最適化とは, トレードオフの関係にある複数の目的関数を同時に最適化することです.
単目的最適化の場合は最適解は一つですが, 多目的最適化の場合は最適解は一つとは限りません. 多目的最適化における最適解は**パレート最適解**と呼ばれます. パレート最適解に関する図を下に示します.
multi.png

#platypus
platypusは, 多目的最適化用のライブラリの一つであるようです.
具体的には, NSGA-II, NSGA-III, MOEA/D, IBEA, Epsilon-MOEA, SPEA2, GDE3, OMOPSO, SMPSO, Epsilon-NSGA-IIなど数多くの手法が使用可能なようです.

使用するにはpipでインストールしましょう.

“`
pi

元記事を表示

MacにKerasを導入する際に気をつけるべきこと

#はじめに
MacにKeras(tensorflow)導入時に,色々と突っ掛かったので,その備忘録としてまとめました.

#環境
Mac OSX Mojave(10.14.6)
Python3.7.3

#tensorflowとkerasのインストール

以下のコマンドをターミナルで実行.pipのバージョンが古いとうまく機能しないので,**先にpipのバージョンを上げておく必要があります**

`pip install –upgrade pip
pip3 install –upgrade tensorflow
pip3 install keras`

上記のあと,実際にpython3を立ち上げて動作を確認してみます.

“`
Python 3.7.3 (v3.7.3:ef4ec6ed12, Mar 25 2019, 16:52:21)
[Clang 6.0 (clang-600.0.57)] on darwin
Type “help”, “copyright”, “credits” or “license” for more information.
>>> import t

元記事を表示

初心者の初心者による初心者のためのDjangoチュートリアルまとめ②

#はじめに
この記事は[初心者の初心者による初心者のためのDjangoチュートリアルまとめ①](https://qiita.com/sanpo_shiho/items/6f2fbfd9bd3a18414fe6)の続きです。

Djangoの公式のチュートリアルを進めていきます。

#はじめての Django アプリ作成、その2
https://docs.djangoproject.com/ja/3.0/intro/tutorial02/

###Database の設定
デフォルトではDjangoはSQliteを使用しています。
`mysite/settings.py`内でDatabaseの設定を行います。

“`Python:mysite/settings.py
# Database
# https://docs.djangoproject.com/en/3.0/ref/settings/#databases

DATABASES = {
‘default’: {
‘ENGINE’: ‘django.db.backends.sqlite3’,

元記事を表示

AnacondaでPythonの64bit環境を32bit環境に変更する

#はじめに
Qiita初投稿です。よろしくお願いします。
AnacondaでPythonの32bit環境を作り、32bitでコンパイルされたDLLを読み込んで作業していました。
(Python32bit環境の作り方はこちらを参照。[Anacondaで32bitのPython環境を作る](https://qiita.com/flowphantom/items/940db2ec8327e2c48cb0))
するとあるとき、`OSError: [WinError 193] %1 は有効な Win32 アプリケーションではありません。`というエラーが出るようになりました。
どうやらPythonの環境が32bitから64bitに変わってしまっていたようで、
これを解決するためにPythonの64bit環境を32bit環境に変更します。

#Pythonの環境を確認する
現環境のPythonが64bitなのか32bitなのかを確認します。
Pythonを起動して「MSC v.1916 32 bit」なら32bit、「MSC v.1916 64 bit」なら64bitです。

“`

元記事を表示

【Python初級】関数内の変数とスコープ(関数内の処理が関数外で反映される場合と反映されない場合)

Pythonで関数内の変数スコープに関する理解が曖昧だったので、同じような点でつまずいた人のために共有します。
以下のコードでは関数内で2つのリストを操作していますが、関数の外で書き換わっているのはmy_list_bのほうだけです。

“`php
def list_transform(list_a, list_b):
list_a = list_a + [‘hoge’]
list_b[1] = list_b[1] + 10

my_list_a = [1, 2, 3]
my_list_b = [5, 6, 7]

list_transform(my_list_a, my_list_b)
print(f”my_list_a={my_list_a}, my_list_b={my_list_b}”)
list_transform(my_list_a, my_list_b)
print(f”my_list_a={my_list_a}, my_list_b={my_list_b}”)
“`

出力は以下になります:

“`
my_list_a=[1, 2,

元記事を表示

Burp Suiteでiphoneからのリクエストを改ざんしてみる

# はじめに
Burp Suiteを使ってiphoneからのリクエストを改ざんする
チュートリアルメモ的なものを残しておきます。

同じwifi環境内につながっているiphoneとpcでの実験になります。

※ あくまで、自分の所持している環境内での実験です。
※ githubにファイルを残しているため、同じ環境で実験ができます、やって見る方は自己責任でお願いしますm(_ _)m

簡単に手順まとめ
– Dockerでflaskのwebアプリケーション立ち上げ
– burp suiteでプロキシ立ち上げ
– iphoneにプロキシ設定
– 改ざんしてみる

の流れでやっていこうと思います。

# 環境

– macOS High Sierra 10.13.6
– Burp Suite Community Edition 2.1.04

# 導入

– burp suite
– docker

を使えるよう準備をお願いします。
説明は割愛します。

# 環境構築

githubに今回の実験用webアプリをあげているので
もってきます。

flaskの適当なwebアプリになります。

元記事を表示

【統計検定2級・準1級】Pythonで回帰分析実習(1)

# はじめに
2019年11月に統計検定2級を受験した後、準1級も目指してみたいと考えて学習をぼちぼち始めました。
聞くところによると準1級を取るには多変量解析を押さえておく必要があるらしい。
ということで、参考書を読んで多変量解析を学習していくのですが、理解を深めるにはやはり自分で手を動かすのが一番と考え、Pythonを使っていろんな解析手法を試してみることにします。

とはいえ、2級の勉強でなんとなく流していた、統計処理ソフト (R) の解析結果を読み取る問題ともちょっとだけ絡んできますので、タイトルは【統計検定2級・準1級】としました。
重回帰分析の回帰係数の自由度が「独立変数の数+1」だけ減るとか、「有意水準xx%で係数は0でない」といった出題がされていますが、その辺りの話は今回ご紹介する内容と関係してきます。

なお、ここでは統計ライブラリの類は使わず、numpyやpandasといったライブラリのみを使っていきます(ブラックボックスで使っていては理解の助けにならないので…)。

# 参考書
[長谷川勝也『ゼロからはじめてよくわかる多変量解析』技術評論社 (2004)](htt

元記事を表示

機械学習を仕事に使うには? 03_Pythonのコーディング手順を全公開

## はじめに
これまで「機械学習を仕事に使うには?」というテーマで記事をお届けしてきましたが、
第3回の今回は「Pythonのコーディング手順」をテーマに、具体的なプログラミングを紹介します。

バックナンバーも読んで頂くと機械学習の基礎からPythonのコーディングまで全体を理解できますので、ぜひご活用ください。

– [第1回:機械学習の目的を理解する](https://qiita.com/Saku731/items/a708ec5c7cbc54e2c1ef)
– [第2回:AI開発のプロジェクト全体像](https://qiita.com/Saku731/items/4bbb0798cd55a17e34f0)

SNS でも色々な情報を発信しているので、記事を読んで良いなと感じて頂けたら
[Twitterアカウント「Saku731」](https://twitter.com/Koji21825331) もフォロー頂けると嬉しいです。

## 機械学習に必要なプログラミングスキル
まず、機械学習を習得するために必要なスキルは下記の通りです。
これらを1個ずつコーディングし

元記事を表示

Pythonista+sceneでトランプをランダムに表示する

今回は、Pythonistaのsceneでトランプを表示する処理を作成してみました。

プログラム概要は以下の通り。
・53枚の中からランダムに5枚トランプを引く
・スマホ画面をタッチするとカードを引き直す

## トランプ処理を作成する方法
まずは53枚(絵札13枚ずつ+ジョーカー)のトランプセットの作成です。
マーク+数字という形で文字列を作成し、トランプリストの配列に格納していきます。

マークはPythonistaのカード画像に合わせて’Clubs’, ‘Hearts’, ‘Spades’, ‘Diamonds’を使用します。

◆実装例

class TrumpGame:
def make_card_list(self):
# マークのリスト
symbol_list = ['Clubs', 'Hearts', 'Spades', 'Diamonds']
# カードリスト
card_list = ['Joker']

# マークと数字を合体させる
for symbol in symbol_list:
for number in ran

元記事を表示

deeplearningで柴犬の写真からうちの子かどうか判定(1)

## はじめに
- こちらは私自身の機械学習やディープラーニングの勉強記録のアウトプットです。
- 今回はGoogle Colaboratoryで画像データの2種分類を行います。柴犬の写真から「うちの子(愛犬)」「うちの子(愛犬)以外」を判定します。
- 様々なエラーでつまずいた箇所などもできる限り記述し、なるべく誰でも再現がしやすいように記載します。
- qiitaには初めての記事投稿になりますので、お気づきの点や修正点などありましたら、教えていただけると幸いです。

## この記事の対象者
- ディープラーニングの勉強をしていて、いろんな分析をしてみたいが、知識や情報が足りなくてGoogle Colaboratoryやその周辺でいろいろとつまずいて、思うように分析が進まない方(バリバリの上級者向けの記事ではありません!)
- あと**柴犬好き**の方はぜひ!!

## 私について
- 2018年から機械学習の勉強を始め、2019年以降はディープラーニングを中心に、主に勤務のない土日に勉強を進めている社会人です。
- これまでエンジニア経験はなく事務一筋に社会人生活をやってきました。

元記事を表示

Google Cloud Speech API における音声前処理と文字起こし精度の関係調査

## 文字起こし精度が思ったより低いぞ

前回の[Google Speech APIの使い方](https://qiita.com/ysdyt/items/bc22eb04d90eb074cf9d)をまとめた記事の最後でも言及しましたが、文字認識精度が思った以上に低いという問題にぶち当たりました。

rebuild.fmでは8割くらい文字起こしできているらしいですが、自分の場合は[体感で半分も認識されていない](https://github.com/ysdyt/podcast_app/blob/master/text/google_speech_api/001.txt)印象です。完璧ではないまでも、文字起こしされた文章を読んだらおおよそ会話内容がわかることを期待していたのに結構壊滅的な感じでした。

「Speech APIは悪くない、自分の前処理が悪いのだ」という前提に立ち、前処理の有無やパラメータの組み合わせを色々試して精度比較してみました。Google Speech APIにおけるベストな前処理方法を探すことが今回の目的です。

## 検証対象音源データ

自身が収録・配信して

元記事を表示

スクレイピングした画像の連番リネーム

#はじめに
[google-images-downloadでgoogle画像からスクレイピング](https://qiita.com/jin237/items/485ca29c8e5880995bd0)で投稿したスクレイピングのあと処理の連番リネームをしただけです。そんなに難しいことはしてません。

#ソースコード

```python

from google_images_download import google_images_download
import glob
import os
from PIL import Image
```
前回にプラスして、”__from PIL import Image__”をいれる。

```python
config = {
"Records": [
{
"keywords": "Sho Hirano",
"limit": 10,
"no_numbering": True,
"output_directort": "im

元記事を表示

Pythonで住所リストから市区郡の顧客数を集計してみる

#はじめに

Pythonはじめて2か月ほど。
最近はOpenPyXlで遊んでます。
顧客の住所リストから、どの地区に人が多いか調べたいときにちょっと役立つコードを書いてみました。

#完成コード

とりま、完成したのがこれ。可読性はあるように見えますが、端折ってますのでもっと市区町村の名前があります。条件分岐が長いのがちょっと直したいところ。

ディレクトリ
?
│─?data_csv
│ │─〇〇.csv #元データのファイル
│─?data_xlsx #保存先の?
│─main.py 

・元データはcsv形式。
・データの中身はエクセルA列にシンプルに並んでいる住所リスト
![キャプチャ.PNG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/555238/c267625e-0bb1-0528-6aca-17e2c7d9794d.png)

```main.py

#やりたいこと:miyagi_colの市区郡がxlsxの住所リスト内にそれぞれ何個あるか調べる

import csv
import

元記事を表示

OTHERカテゴリの最新記事