Python関連のことを調べてみた2020年09月10日

ビッグバネイト説を検証してみた【そろそろ帰着にかかるか】

# ビッグバネイト説とは…
どんな言葉でも「ビッグバン」に帰着するという説

## 引用
どの言葉も辞書で意味を遡るとビッグバンに辿り着く説を検証してみた。

# 実装
今回は「MediaWiki API」を使用し、記事へリンクしている記事の一覧を取得し
どれくらいの記事がビッグバンの記事にリンクされるか検証する

## ソース
“`python:python
url = “http://ja.wikipedia.org/w/api.php”
payload = {“format”:”json”, “action”:”query”, “list”:”backlinks”, “blnamespace”:”0″}
payload[‘bltitle’] = word
r = requests.get(url, params=payload)

# json整形
json_load = r.json()
json_load = json.dumps(json_load)
json_load = json.

Pythonメモ①　フォルダ,ファイルの操作

# pythonによるファイル、フォルダの基本操作
自分用メモです。バージョンはpython3.7.1です。随時追記します。

## フォルダの作成
“` make_folder.py
# make folder
import os

def make_folder(path):
if os.path.exists(path)==False:
os.mkdir(path)

“`

##　ファイルのみ取得する
“` get_files.py
import os
import sys

def get_images(path):
folder = os.listdir(path):
files = [f for f in folder if os.path.isfile(os.path.join(path, f))]
if len(files)==0:
print(“File does not exist”)
sys.exit()
return files

“`

##　ファイルの名前と拡張子を取得
“`get_fil

Ubuntu 20.04のシステムを用意する

2018年からメインPCとしてUbuntu（18.04）を使っています。今年、新しいLTS 20.04がリリースされたので、初期バグフィックスを待って、20.04.1をゼロ（）からインストールして使用中。こちらは自分のPCの初期設定・インストール手順になっています。ご参考までに

> 注意： linux kernel, “uname=Linux 5.4.0-47-generic x86_64″でタッチパッドやトラックポイントが動作しなくなったので、現状、”uname=Linux 5.4.0-42-generic x86_64″を使用している。

インストールしているPC情報：

項目|値
—|—
dmi.bios.date| 07/08/2020
dmi.bios.version| N2EET49W (1.31 )
dmi.board.vendor| LENOVO
dmi.product.family| ThinkPad X1 Extreme
dmi.product.name| 20MFCTO1WW

# USBを準備

https://ubuntu.com/tutorial

Jupyter Notebookの基本操作とショートカットキー

Jupyter Notebook で作成したノートブックにおける基本操作方法および利用できるショートカットキーについて解説します。

###コマンドモードとエディットモードを切り替える

ノートブックで表示されているセルは、コマンドモードとエディットモードの 2 つのモードがあります。

コマンドモードはショートカットキーを使用してセルを追加したり削除したりといったセルに対する操作を行う場合に使用するモードです。セルの左側に青の線が表示されているときはコマンドモードです。

エディットモードはセルにプログラムを入力する場合に使用するモードです。セルの左側に緑の線が表示されているときはエディットモードです。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/

Anacondaのダウンロード

###Anacondaのダウンロード
Anaconda は Python 自身と Python でよく利用される NumPy や Jupyter といったライブラリをまとめてインストールしてくれるディストリビューション(必要なソフトウェアをまとめてパッケージしたもの)です。

Anaconda をインストールするには次の URL へアクセスしてください。

https://www.anaconda.com/

Anaconda は無料で利用可能な Individual Edition と有料で提供されている Team Edition と Enterprise Edition があります。今回は無料で利用可能な Individual Edition を利用します。

画面上部にある「Products」をクリックし、表示されたメニューの中から「Ind

過去の電力使用量取得 関西電力編

# はじめに

電力使用量予測のセミナーをしていて、各電力会社の公表されている過去の使用電力量の形式がまちまちなので取得するのが難しいというご意見を聞いていました。
そこで、それぞれの電力会社別にデータの取得方法をまとめてみます。

ちなみに、対象とする電力会社は、北海道電力、東北電力、東京電力、北陸電力、中部電力、関西電力、中国電力、四国電力、九州電力、沖縄電力で、今回は関西電力さんを扱ってみます。

注：大量のダウンロードを繰り返すとサーバに負担がかかるので、ダウンロードは一回だけにするか、対象期間を限定して行うよう心がけて下さい。

# 動作環境

GoogleさんのCoraboratoryという環境で動作させます。

[Colaboratory](https://colab.research.google.com/)

# Webサイト

以下のWebサイトからデータをダウンロードできそうです。

[関西電力送配電 電力需給のお知らせ](https://www.kansai-td.co.jp/denkiyoho/)

# ダウンロード

“`py:
for y in rang

絶賛！！　Python Pocket Reference (O’REILLY)。日本語版も欲しいな。訳せないところが。。。あるんですっ。

#目的
以下のPython Pocket Reference (O’REILLY)が、すごく、使いやすい！

　Python Pocket Reference, 5th Edition
　Python In Your Pocket
　By Mark Lutz
　Publisher: O’Reilly Media

（　出典：http://shop.oreilly.com/product/0636920028338.do　）


しかし。。。。。
うまく意味がとれない英語があるので、念のため（備忘のため）、記事にする。
（おそらく、将来の自分が解決することを期待して。。。）

あとは、英語のことを書いていると、
少しづつ英語力が上がる期待。。。

#意味がわからない英語

##[その１]Noneについて

>None — a false pla

Flaskでテスト駆動開発(TDD)を行うためのチュートリアル – 1

# はじめに
全5回(予定なので変わる可能性あり)にかけて、`Flaskでテスト駆動開発を行うために必要なノウハウを伝授`する。
本記事では、Flaskで開発したWebアプリやAPIを自動でテストするための最低限のサンプルコードとその実行例を紹介する。

# 対象読者
– FlaskでこれからWebアプリまたはAPIを開発する方
– テスト自動化の勉強をしたい方

# 概要
Flaskで作成した`Hello, World!`を戻り値とするAPIの最低限のテストを自動で行う。

# ディレクトリ構造
本記事で利用するサンプルコードは以下のようなディレクトリ構造で配置してください。

“`
flask_01/
├── Dockerfile
└── app
├── flask_app.py
└── test
└── test.py
“`
# dockerのバージョン
“`
$ docker –version
Docker version 19.03.12, build 48a66213fe
“`
# コードの準備
## Dockerfile
“

Pythonをダウンロードする

Python のダウンロードを行います。下記の URL へアクセスして下さい。

・https://www.python.org/

画面上部に表示されているメニューの中から「Download」にマウスを合わせるとメニューが表示されます。今回 Windows 向けのものをダウンロードしますので、メニューの中から「Windows」をクリックしてください。

Windows 向けの Python の色々なバージョンのダウンロード用リンクが掲載されたページが表示されます。

最新バージョンの Python をダウ

＊Python＊ECHONET Lite対応家電（エミュレータ）を制御する

# はじめに
Flaskを使ったことがあり，ソケット通信のプログラムを書いたことがある方なら誰でも理解できる記事です．PythonのFlaskを使って家電の制御を試してみましょう．家電の制御はnode.jsを使用することが多いですが，Pythonを使う人が増えていることもあるため，Pythonを使って家電を制御しようと思います．まず，通信プロトコルとしては，家電を制御する際に標準的に用いられるECHONET Liteを使用します．ECHONET Liteに対応している家電は多いとは言えません．しかし，ECHONET Liteで制御できない場合でも，WebAPIなどが提供されている場合はそちらから制御できることがあります．制御する家電を見つける際は，ECHONET Liteだけでなく，WebAPIを探してみるということも試してみてください．次に，今回制御する家電ですが，ECHONET LITE対応家電を用意するのは大変なので，代わりにエミュレータを使用します．

# 前提
開発環境は以下の通りです．今回は2台のPCを使用します．
– エミュレータ実行用PC
– Windows 1

docker image 作成時に Jupyter Lab のカスタム設定をする

これまでデータ分析の環境構築の際は、Anacondaで仮想環境を構築して`pip install`とかをしていた。ただこの場合、メモを残しておいたりしない限りは同じ環境を構築できなかったりするので、最近はDockerを使用するようになってきた。

基本的には、Jupyter公式の[Docker Hub](https://hub.docker.com/u/jupyter)からdocker imageをpullし、必要なものを足していくという感じで環境構築している。（同じように環境構築している人が多い？）
ここで、環境構築時にJupyter Labのショートカットキーの作成も一緒にしてくれると嬉しいと思ったので、そのためのDockerfileの書き方を紹介する。
まだまだDockerについての理解が浅いので間違っていたりしたら指摘してくださるとありがたい。

また、簡単なデモが出来るように[GitHub](https://github.com/kanix29/custom-settings-jupyterlab-docker)にDockerfileなどをあげておいた。dockerを使用した

上司を納得させるための図を描くのに必要なmatplotlibの早見表

機械学習などで特徴量を検討していると、色々と図を描きたくなります。
他人（特に上司とか、上司とか、上司とか。。。）に説明するのにも図が重要です。
分かりやすく書かないと、やり直しさせられます。
その時に役立ちそうな処理を一覧にしました。

# インポート
“`python
import matplotlib.pyplot as plt
“`
# 図(fig, ax)の作成
## 単体
“`python
import matplotlib.pyplot as plt
fig = plt.figure(figsize=(15, 8), dpi=100)
ax1 = plt.axes()
“`
なお、figsizeは(横, 縦)のインチ、dpiはインチ当たりの画素数。
つまり、この場合、1500 x 800の画像になる。
dpi=100はデフォルト、figsizeのデフォルトは(6,4)だが、
最近のディスプレイはもっと横長で高画質なので(15,8)にしてみた。

## 複数
“`python
fig = plt.figure(figsize=(15, 8), dpi=100)
a

[Python] Typetalk APIの使い方

# はじめに
当記事では、PythonでのTypetalk APIの使い方を紹介します。
ちなみに、私はカレー判定ボット作りました。

# 事前準備
ボットの作成と、トークンとURLの取得を行います。

### ボット作成
「トピック設定」から「ボット」タブを開きます。

`新規追加`を押すと、ボット設定画面が開きます。
![Screenshot 2020-09-09 153945.jpg](https://qiita-image-store.

【Matplotlib入門】Axes３Dアニメーション：3Dリサジュー図形で遊んでみた♬

3日前にTwitterに流れて来た以下のSin-Cos-tの3Dアニメ、ハマったのでまとめておきます。
普通のリサジュー図形だろという軽いノリでもっと面白そうなリサジュー図形を描きたくて、。。。いやハマりました。

【三次元でのsin cosの関係】 pic.twitter.com/hdFbU2LIB9

— 美しき物理学bot (@ST_phys_bot) September 5, 2020

同じ絵を描こうと思いましたが、切りのいい以下のところで断念。
※あと、⇒とSinとCosの先端から渦巻の先端を結ぶだけで、やり方見えたけどここで止めます。
###やったこと
・Axes3Dのアニメーション
・Sin-Cos-tのアニメーション
・update()関数を直接呼んで描画する
・Z軸をずらす
・図形の回転
・3Dリサジュー図形
###・Axes3Dのアニメーション
当初、3Dとはいえ、参考のような

[Python] ADI法(交互方向陰解法)による2次元の熱拡散方程式の数値計算

#はじめに
私は大学で半導体物性を研究しています。
半導体材料にレーザーを照射し、光吸収による熱膨張を圧電素子(膨張や収縮を電圧に変換する素子)で計測する実験などを行っており、実験結果を計算で再現することで熱伝導率などの物性値を算出しようとしています。

その計算のために熱拡散方程式を数値計算で解きたいのです。
実験結果を再現するには1次元では不十分だったので、2次元の熱拡散方程式を解きました。

この記事では、2次元の熱拡散方程式を
ADI法(Alternating direction implicit method,交互方向陰解法)で解きます。
間違いやより良いプログラムの書き方があればどうか教えて下さい。

解きたい方程式は以下の通りです。

“`math
\frac{\partial T}{\partial t}=\lambda \left(\frac{\partial^2 T}{\partial x^2}+\frac{\partial^2 T}{\partial y^2}\right)
“`
ここで、$T$は温度、$t$は時間、$\lambda$は熱拡散率、$x,y$は座

Jupyterで簡単な画像認識を出来るようにするまで

#初めに
ふとある画像判別のアプリが作りたくなったのでまずはWindow環境でjupyterをつかって
簡単に画像を判別するプログラムを動かすところまでを作ってみた。

開発環境
OS: Windows10 Home
GPU: Geforce GTX1660Ti
Anaconda: 4.8.2

#各種インストール
まずは以下のサイトからAnacondaをダウンロードしインストール
https://www.anaconda.com/products/individual

続いて画像認識に必要なライブラリであるTensorFlowを導入する。

そのまえに一応いま使用しているPCにGPUが入っているためせっかくなのでGPUを使って計算させたい。しかしNvidiaドライバとCUDAとcuDNNというものをインストールする必要があるらしく、しかもこれらのツールは最新ならよいというわけではなくバージョンに気を付けないとGPUが認識しないらしい…

ということで、まずはNvidiaドライバを以下のサイトから自分のGPUを検索してダウンロード・インストール
https://www.nvidi

Pythonの a += b と a = a + b は違う

いくつかのサイトで演算子 `a += b` が `a = a + b` と同じと書いてありますがミュータブルなオブジェクトでは厳密には異なります。
同じオブジェクトを指す変数がある場合は注意が必要です。（NumPy を使ってる人は特に！）

# 概要

一言でまとめると以下の違いがあります。
ミュータブルなオブジェクトでは、

– `a += b` では代入の前後で　`a` が指すオブジェクトは変化しない。
– `a = a + b` では代入の前後で `a` が指すオブジェクトは変化する。

ただし、イミュータブルなオブジェクトではどちらの場合も変化します（@shiracamusさんのコメントに例があります）。

# 実験
`[1, 2]` に `[3]` を追加して `[1, 2, 3]` を作成する実験をしてみます。
`y` は代入前の `x` のオブジェクトを指します。
組み込み関数 `id(x)` でオブジェクトのIDを取得できます。

## `a += b`

“`python
>>> x = y = [1, 2] # y は代入前の x と同じオブジェクト
>>>

Dockerでflask+Herokuのための環境構築からデプロイまで

# はじめに
およそ1年前にDjangoを使って簡単なWebアプリを開発した。

[データ収集からAI開発、Webアプリ公開まで全てPythonで済ませた話](https://qiita.com/hanata/items/48e84fb051f4b7e04ac1)

`入力されたURLからスクレイピングでデータ取得→学習済み機械学習モデルで推論→答えを返す`
という非常にシンプルなものである。アプリはこちら↓
[キー判別AI](https://kja-app.herokuapp.com/)

久しぶりに使ってみたところ、スクレイピング先のサイトの仕様変更により、正しい結果を得られなくなってしまった。これはマズイと思い改修することにした。

久しぶりにコードを覗いてみたが、自分でもよくわからない…開発当時はとにかく動かすことを目標にしていたこともあり、コードも汚いし、デプロイ方法もすっかり分からなくなっている…

というわけで、今後も不定期的に改修することを考え、開発やデプロイをしやすくするために**Docker**での環境構築を実施した。クローンしてdocker-composeすれば開

[CovsirPhy] COVID-19データ解析用Pythonパッケージ: SIR-F model

## Introduction

COVID-19のデータ（PCR陽性者数など）のデータを簡単にダウンロードして解析できるPythonパッケージ [CovsirPhy](https://github.com/lisphilar/covid19-sir)を作成しています。パッケージを使用した解析例、作成にあたって得られた知識（Python, GitHub, Sphinx,…）に関する記事を今後公開する予定です。

英語版のドキュメントは[CovsirPhy: COVID-19 analysis with phase-dependent SIRs](https://lisphilar.github.io/covid19-sir/index.html), [Kaggle: COVID-19 data with SIR model](https://www.kaggle.com/lisphilar/covid-19-data-with-sir-model)にて公開しています。

**今回はSIR-F modelについてご紹介します。**実データは出てきません。
英語版：[Usage (de

Anaconda,Python学習に参考になったサイトまとめ

##実行環境
・Windows10 Laptop&Desktop
・Anaconda
・VScode
・Python3.8.5

##参考
####基本,環境構築
・[【超入門コース】Python｜プログラミング初心者向け講座 キノコード](https://www.youtube.com/watch?v=3jymAyMJjR8&list=PLavQwENTsEBUHi7XZHGfKjTQQdOvnYPmB)
・[Windows環境でのAnacondaのアップデート](https://qiita.com/kerobot/items/917dc7027e15f5ff75ac)
・[Anacondaのcondaとpipのinstallコマンドを使い分ける方法（管理上の方針）](https://code-graffiti.com/how-to-use-conda-and-pip-install-command-properly/)
・[Anaconda Prompt の作業フォルダを変更](http://izmmr.blog.jp/archives/10188841.html)

####GU