Python関連のことを調べてみた2020年01月05日

[NNabla]構築済みネットワークの中間層間に新たなレイヤーを追加する方法

# はじめに
　qiitaへの3回目の投稿です。(article3)
　[前回](https://qiita.com/__NJ__000/items/f0df609900412d6c55bd)に引き続き、私がnnablaを使っていた中で「こういう情報がqiitaとかにあったらよかったのに」と思いながらなんとか気合いで[nnablaのreference](https://nnabla.readthedocs.io/en/latest/)と`dir()`(pythonの標準関数。引数のメンバ変数・関数を返してくれる)で見つけてきたことについてまとめます。
#1. 要件
・OS: macOS Catalina (バージョン 10.15.1)
・python: 3.5.4
・nnabla: 1.3.0
#2. ネットワークの構築
　サンプルのネットワークを下記で定義します。(ここまでは[前回](https://qiita.com/__NJ__000/items/f0df609900412d6c55bd)同様)

“`article3_add_layer.py
import nnabla as

【Python】真剣にM-1必勝法を考えてみる。

# 1. 内容
* 毎年盛り上がっているM-1グランプリだが、毎年楽しく見させていただいている。芸人さんにとってその後のキャリアを大きく左右する重要なグランプリであることもよく分かる。
* でも毎年見ていてちょっと気になることがある。ブッチ切りな候補が優勝する年もあるものの、僅差でとあるコンビが制する年もあり、やはりこの場合**審査員の好みが色濃く出ている**と感じられることがある。
* もともと、お笑い芸人の技量について絶対的なモノサシなんか存在しないだろうし、だからこそ**審査員との相性が重要**となってくるのではないかと思うことがある。
* そうなればこそ、どうしても**審査員の好みに合わせてウケにいって効率よく点数を稼ぐ方法**があるのではないかと考えてしまう。
* なお僕はお笑いには特別詳しくなく、バラエティでよく見る芸人さんについては知っている程度である。詳細なお笑い論で間違っていることを主張していたらごめんなさい。

# 2. 今年のM-1のデータ
* 安定のWikipediaさんを参照しました。（https://ja.wikipedia.org/wiki/M-1%E3%

【データ分析】晴海フラッグは買いか？

#0．一言で言うと
　最寄り駅から徒歩20分:walking_tone1:という立地条件面での前例が少ない都心の大規模マンション:cityscape:「晴海フラッグ」。その価格設定がリーズナブルか否か、データ分析で検証してみた。
　結論から言えば、ベースとなる価格設定自体はリーズナブルだと思う。但し、眺望に対する価格プレミアムが高い。眺めの良さを満喫できるよう、お金持ちになろう:grinning:
#１．前口上
　いよいよ今年、オリンピックが東京で開催される。バドミントン:badminton:を始め、選手の活躍を楽しみにしている:military_medal:
　オリンピック関連で色んな話題がある。個人的に興味があるのは、選手村跡地に出来る晴海フラッグ。都心での一大プロジェクトということで、とっても興味がある。しかし、最寄りの勝どき駅から徒歩20分程度と距離がある。郊外なら、ともかく、都心で徒歩20分の大規模開発って、価格設定は一体、どうなっているのだろうか。
　分からないので、データ分析してみることにした:grinning:
#２．データ分析の流れ
　データ分析は、以下の流れで行った

Raspberry Pi で作る自動布団引き剥がし機

# 概要
　冷え込んだ冬の朝に布団から自力で脱出することは大きな精神的苦痛を伴うことが知られており、また冬期の午前中における活動性低下は日本経済に多大な損失をもたらしている。かどうかは知らないが、とりあえず朝早く家を出ないと私の卒業が危うくなってしまうので対策を講じることにした。
　「布団 脱出 方法」と検索して出てくる方法 (目覚ましをベッドから離れたところに置いておく、暖房をつけて寝る、など) は一見有効そうに見えるものの、実際試してみたところ目覚ましを止めたり暖房を切ったりしたあとで二度寝してしまうということが明らかになった。私は怠惰な人間なので、真の意味で布団を脱出するには何らかの方法で布団を使用不能にする必要があるのだ。
　そこで、本稿ではラズパイを用いて布団を引き剥がす機械の製作を検討する。実装の概略を下図に示す。布団に取り付けた糸を電動リールで牽引して巻き取り、それにより布団を引き剥がすことを目標にする。さらにラズパイを Web サーバ化し、スマホなどから引き剥がし時刻の設定ができるようにする。
【Python】Beautiful Soupを使ってローカルのhtmlファイルをスクレイピングしてCSV出力する方法

# はじめに

ローカルのhtmlファイルからテキストデータをスクレイピングしたいと考え、いろいろと試したのですがPythonのライブラリのBeautiful Soupがとても便利だったので使い方とCSVファイルへの出力方法をシェアします。

# 開発環境

pyenv: 1.2.15
python: 3.6.5
Beautiful Soup: 4.4.0
VSCode: 1.41.1

# Pythonの環境構築

環境構築はProgateの下記レッスンを参考にさせていただきました。
[Pythonの開発環境を用意しよう！（Mac)](https://prog-8.com/docs/python-env)

# Beautiful Soupとは？

Pythonのライブラリの一種でHTMLデータからHTMLタグやCSSセレクタを基準に
スクレイピングが実行できます。
公式リファレンス： https://www.crummy.com/software/BeautifulSoup/bs4/doc/
リファレンス和訳(ver 3.0)： https://tdoc.info/beautifu

各種 Web Application Framework メモリ使用量比較調査 (Go, Ruby, Python, Node.js, Java)

## 概要

– 「Hello World な HTML を返す程度の Web アプリケーション」または「それぞれの公式ドキュメントに載っているチュートリアルの初期状態に近いもの」を作成してメモリ使用量を比較する
– Web アプリケーションサーバは現時点でよく使われていると思われるものを使用する
– テンプレートエンジンはフレームワークのデフォルト設定またはフレームワークが推奨しているものを使用する
– macOS Catalina 上でメモリ使用量を計測
– メモリ使用量の計測には ps コマンドの RSS 値を使う (複数のプロセスを使うものはRSS値を単純に足したものをメモリ使用量とした。メモリ共有部分については考慮していないため、もう少しメモリ使用量が少ないかもしれない)

## 調査結果

メモリ使用量が少ない順に並べる。

– 7MB: Go 1.13 + Gin 1.5
– 10MB: Go 1.13 + Revel 0.21
– 24MB: Ruby 2.7 + Sinatra 2.0 + Puma 4.3
– 40MB: Python 3.8 + Flask 1.1

ファイル読み込みのオーバーヘッド測定

# 要約
1. ファイル読み込みのオーバヘッドは大きいらしい。
1. 複数のファイルを1つにまとめて読み込めばこのオーバヘッドをかなり軽減できるらしい。
1. この効果を具体的な数字で見たかったので、適してそうなデータセットを探して環境を考えて計測した。
1. 結果、思ってたよりオーバヘッドは大きかった。

# はじめに
近年、機械学習等で大量のファイルを読み込む需要が増しています。
しかし、大量のファイルを読み込もうとすると、プログラム中のメインの処理よりもファイル読み込みのオーバヘッドが大きくなってしまう場合があります。
例えば、CIFAR-10ではファイル読み込みのオーバヘッドを削減するために1つのファイルに複数の画像を保存しています。

この効果が気になったので、CIFAR-10を用いてファイル読み込みのオーバヘッドがプログラムにどの程度影響するかを調査してみました。

# もくじ
1. [データセット](#データセット)
2. [測定プログラム](#測定プログラム)
3. [結果](#結果)
4. [解説](#解説)
5. [Appendix](#Appendix)

# デ

ハノイの塔アルゴリズム?②(継続は力なり?

記事をご覧くださりありがとうございます。
どうも、びりどらです。
メンタルが壊れて昨年10月に会社を退職して、
ほうれん草を植えたり、カメを買い始めたり
謎のチャレンジをしている変人です。
※専門家ではないので、内容に不備があるかもしれません、ご了承ください。

#本題

(1)ヒートショック危険お知らせ装置/(ラジオ体操)圧電ブザー演奏装置の開発
(2)OpenCvを用いてホウレンソウの成長把握/OpenCVを用いてマクロ(陸ガメ)の生態把握
(3)GPSの猛勉強・GPS便利ツールなどを作る
(4)アルゴリズムのお勉強**←今回ココ**
(5)PHPフレームワークのお勉強
(-) メンタルの療養
[https://qiita.com/nobutan_tinou/items/bfa6182b6fdceb6a8ae0]
昨日の記事の続きです、

ありがたい指摘?があったので確認してみると、
スタック(**ポップ**、プッシュ)と**再帰**の考えが重要になってきます。
現状pythonおよびC作法をところどころ忘れかけているので、
本を読んだり、手を動かし、シートと頭を使いながら会得した

Lambda(Python) + Rekognition で顔検出

# Lambda(Python) + Rekognition で顔検出

この記事は[サーバーレスWebアプリ Mosaic](https://mosaic.w2or3w.com “Mosaic”)を開発して得た知見を振り返り定着させるための[ハンズオン記事](https://qiita.com/w2or3w/items/87b57dfdbcf218de91e2)の1つです。

以下を見てからこの記事をみるといい感じです。
* [Lambda + OpenCVで画像処理 (グレー画像作成)](https://qiita.com/w2or3w/items/e6feac50c751bbc64697)
* [AppSyncをフロントエンドとバックエンドで利用する](https://qiita.com/w2or3w/items/70f6b6d8d13b60afaee5)

## イントロダクション
顔検出を実現する手段としてOpenCVが最初に思い立つ古い人間なのですが、OpenCVで納得いく検出をさせようと思うとなかなかしんどいんです。で、このAWS Rekognitionを利用してみたので

toimage (from PIL.Image import fromarray as toimage)で出たエラーを解消する方法

>for i in range(100):
img = toimage(X_test[i])
label = results[i].argmax()
plt.subplot(10, 10, pos)
plt.imshow(img)
plt.axis(‘off’)
plt.title(cifar10_labels[label])
pos += 1
plt.show()

を実行してイメージをJupyter notebookに表示させようとしたら、以下のようなエラーが出た。

KeyError Traceback (most recent call last)
/usr/local/lib/python3.6/dist-packages/PIL/Image.py in fromarray(obj, mode)
2415 typekey = (1, 1) + shape[2:], arr[‘typestr’]
-> 2416 mo

Grove Pi+スターターキットのセンサを試す

## 概要
ハッカソンでRaspberry PiとGrove Pi+スターターキット、kintoneを活用することになり、Pythonで問題なく利用できるか調べました。結果、GitHubに公開しているgrovepi.pyには不具合があり修正する必要がありますが、付属センサは概ね利用できました。

__Grove Pi+ スターターキット 初心者向け Raspberry Pi A+,B,B+&2,3適用 CE認証（写真はGrove Pi本体）__
https://shop.dexterindustries.com/grovepi-starter-kit-raspberry-pi/

## Grove Pi+ の設定と試験環境

### 使用OS
Raspbian Buster with desktop
Version:September

wikipediaガチャBotをつくってみた

## はじめに
ノンプログラマですが，自分でも何かつくってみたくてTwitterBotをつくりました．
初学者がBot作成する際のご参考になれば幸いです．

##できたもの
wikipediaに登録されている単語から，2つの単語をランダムに取得してTweetするBotです．
Tweets by Sosaku_Tango

##つくりかた
まず完成したコードがこちらです．

“`python
import tweepy, random
import schedule
import time

# 取得した各keyを代入
CK=””
CS=””
AT=””
AS=””

# インスタンス作成
auth = tweepy.OAuthHandler(CK, CS)
auth.set_ac

pythonでAtCoder始めて4ヶ月で水色になった話

タイトル通りの記事です。
9月からAtCoderを始めて、先日のAGC41で水色になりました。
一旦この辺でこれまでやってきたことをまとめておこうかと思ったので記事にしてます。皆さんの参考になるかはわかりません。

#書いてる人について
– 中学受験を経験しているのと、旧帝大理系の大学院(化学専攻)を卒業している。そのためそれらに入学するだけの数学的素養は持ち合わせている。大学ではかなり遊んでいたので大学数学の記憶はない。
– 業務はIT系だが、インフラ寄りのためプログラミングをする事はほとんど無い。
– Javaは1年ほど前に2ヶ月くらい触った。大昔にC++を少しだけ触ったこともある。というわけでプログラミングについて全くの素人ではない。
– AtCoder始める前に知ってたことの例
– if, for, while
– 配列

PythonのConfigParserで配列を読み込む方法

# はじめに

調べてみて、へぇ～と思ったのと、日本語の記事が見当たらなかったので。

# ConfigParserで配列を読み込む方法
## 1. config.iniへの記述

ベタに配列で書いてしまう。

~~~
[Foo]
fibs: [1,1,2,3,5,8,13]
~~~

以下も可。

~~~
[Foo]
fibs = [1,1,2,3,5,8,13]
~~~

## 2. pythonプログラムでの読み込み

ConfigParserで読んでそのままjson.loadsで処理すると、配列になってくれる。

~~~
import configparser
import json

config_ini = configparser.ConfigParser()
config_ini.read(“config.ini”, encoding=’utf-8′)

arr = json.loads(config.get(“Foo”,”fibs”))
print(arr) # [1, 1, 2, 3, 5, 8, 13]
~~~

# その他
数値だけじゃなく、文字列でも出来まし

初心者の初心者による初心者のためのDjangoチュートリアルまとめ④

#はじめに
この記事はDjangoの公式チュートリアルを進めていくシリーズものです。
今回は4記事目「はじめての Django アプリ作成、その 4」を進めていきます。

[初心者の初心者による初心者のためのDjangoチュートリアルまとめ①](https://qiita.com/sanpo_shiho/items/6f2fbfd9bd3a18414fe6)
[初心者の初心者による初心者のためのDjangoチュートリアルまとめ②](https://qiita.com/sanpo_shiho/items/4df3b31ea76775f4a918)
[初心者の初心者による初心者のためのDjangoチュートリアルまとめ③](https://qiita.com/sanpo_shiho/items/71b8cdd68d608897d103)

#はじめての Django アプリ作成、その 4

###Write a minimal form
前回の記事で作成した`detail.html`内に投票のためのフォームを設置します。

“`polls/templates/polls/detail.ht

言語処理100本ノック 2015をやったら結構Python基礎力がついた 第1章

# はじめに
今更ですが、Pythonの勉強がてら[言語処理100本ノック 2015](http://www.cl.ecei.tohoku.ac.jp/nlp100/)をやってみました。最初は何も見ずにやってみて、その後、他の方の100本ノックの書き方を参考に、より良い（スマートな）書き方でやり直してみます。

より良い書き方の参考文献は最後にまとめて記載しています。

# 第1章: 準備運動

## 00. 文字列の逆順
文字列”stressed”の文字を逆に（末尾から先頭に向かって）並べた文字列を得よ．

“`python:コード
input_str = ‘stressed’
result = input_str[::-1]
print(result)
“`

“`:出力結果
desserts
“`

### より良いコード
スライスのステップに負の値を設定すると末尾から見てくれる。これより大きく変わるのはなさそう。

## 01. 「パタトクカシーー」
「パタトクカシーー」という文字列の1,3,5,7文字目を取り出して連結した文字列を得よ．

“`python:コード

Pythonによる AI・機械学習について学んだ内容(3)

#はじめに
この本を使って勉強しています
[Pythonによる AI・機械学習・深層学習アプリのつくり方](https://www.socym.co.jp/book/1164)

#scikit-learn
Python向けの機械学習フレームワークの定番
http://scikit-learn.org/

次の特徴がある

– 機械学習で使われるさまざまなアルゴリズムに対応
– すぐに機械学習を試すことができるようにサンプルデータが含まれる
– 機械学習の結果を検証する機能を持っている
– 機械学習でよく使われる他のライブラリ(Pnadas, Numpy, scipy, Matplotlib etc)と親和性が高い
– BSDライセンスのオープンソースのため無料で商用利用可能

#アルゴリズムを選択する
https://scikit-learn.org/stable/tutorial/machine_learning_map/index.html
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com

Homebrewのエラー

### Python update時、venvをリセットする時でたエラー

“`
$ brew cleanup
“`
で下記のWarningがありました。
`Warning: Skipping python: most recent version 3.7.6_1 not installed`

—-
アップデートします。

“`
$ brew upgrade
“`
で下記のエラー…
“`Traceback (most recent call last):
4: from /usr/local/Homebrew/Library/Homebrew/brew.rb:23:in `

‘
3: from /usr/local/Homebrew/Library/Homebrew/brew.rb:23:in `require_relative’
2: from /usr/local/Homebrew/Library/Homebrew/global.rb:13:in `‘
1: from /System/Library/Frame

Python で初めての単回帰分析

単回帰分析の意味は調べればいくらでも出てきますが、自分で実際にプログラムを書いてみることで、理解が深まればいいかなと思い、Python を使って試してみたいと思っています。

一応、単回帰分析に対する説明としては、以下のような例があります。
1. 1つの目的変数(y)を1つの説明変数(x)で予測するもの。
2. それらの関係性を y = ax ＋ b という一次方程式の形であらわす。
※ a は傾き、b は切片

テスト環境は、（いつインストールしたかも覚えていない） Jupyter Notebook を使います。
使用したバージョンは以下です。

“`
The version of the notebook server is: 6.0.0
Python 3.7.3 (default, Mar 27 2019, 22:11:17)
[GCC 7.3.0]
“`

#### pandas
pandas（パンダス、パンダズまたはパンダ）はデータを変換したり解析したりするためのライブラリ。
これを使って、データを読み込んでいきます。
使用したバージョンは以下です。

“`pytho

deeplearningで柴犬の写真からうちの子かどうか判定(2) データ増量・転移学習・ファインチューニング

## はじめに
– こちらは私自身の機械学習やディープラーニングの勉強記録のアウトプットです。
– **前回の[deeplearningで柴犬の写真からうちの子かどうか判定(1)](https://qiita.com/ryoo/items/3a6cba285fdb5ad38fec)**に引き続き、Google Colaboratoryで画像データの2種分類を行います。
– 様々なエラーでつまずいた箇所などもなるべく記述し、なるべく誰でも再現がしやすいように記載します。

## この記事の対象者・参考にした文献
前回と同じです。詳細は**[こちら](https://qiita.com/ryoo/items/3a6cba285fdb5ad38fec)**。

## 私について
– 現職は事務職。2019年9月に**JDLA Deep Learning for Engeneer 2019#2**を取得。
– 2020年4月からデータサイエンスの仕事にジョブチェンジをしたいと考え、転職活動を開始しました。
詳細は**[こちら](https://qiita.com/ryoo/items/3a6c