Python3関連のことを調べてみた2020年04月03日

茨城県の新型コロナウイルス感染症患者の発生状況の表を作成

Web で閲覧できる次の表を作成します。
>[茨城県の新型コロナウイルス感染症患者の発生状況](https://ekzemplaro.org/corona/ibaraki_patient/)

データのソースは茨城県境町です。
>[茨城県及び近県における新型コロナウイルス感染者について](http://www.town.sakai.ibaraki.jp/sp/page/page002165.html)

ページをスクレイピングしてJSONに変換

“`bash
./get_ibaraki.py \
http://www.town.sakai.ibaraki.jp/sp/page/page002165.html \
data_ibaraki_tmp.json
#
./ibaraki_sort.py data_ibaraki_t

pythonで相対パスの指定の方法で悩んだ話。

自分の備忘録を兼ねて、問題の直接原因とは関係のないソースコードも記載

#事象

pythonでiniファイルを読み込む処理を行おうとしたら、
何故か、`KeyError` が出てしまい上手く行かない。

ソースは以下の通り

“`ini:config.ini
[USER_INFO]
address=testUser
password=testpass
“`

“`python:test.py
import configparser
config = configparser.ConfigParser()
config.read(‘./config.ini’, encoding=’utf-8′)

address = config[‘USER_INFO’][‘address’]
“`

keyの値が間違っている様子もない。

config.iniが読み込めていないのではないかと思い、ファイルの存在確認。
結果、Falseが返却された。

“`python:
import os

print(os.path.exists(‘./config.ini’))
“`

フォルダの

スクレイピングで使うライブラリ一覧

#スクレイピングで使うライブラリ一覧

urllib→pythonのパッケージの一つ。urlにアクセスしてファイルを展開などできる。
BeautifulSoup→HTMLやXMLを解析できる。
requests→urllib同様、urlを利用するときに使うパッケージ。ただ、こちらは簡単にクッキーを利用できる。
Selenium→Webブラウザの遠隔操作
PhantomJS→コマンドラインから使えるwebブラウザ
json→json形式のデータを扱う
MySQL→データベース。
cgi→ホームページを作るのに使う。
pandas→excelの編集

サーバーとして使うにはappachかな

Python入門

よーしPythonやるぞー
環境
—–
OS:Windows10
本文
—–
Pythonとは人工知能に向いてる言語です。
まあ人工知能を作る方法は知りませんがー
顔認証？ならカメラ搭載してID変数でコードやったらできるのでは？
とりまコンソロール(画面に文字が出るやつ、説明ﾑｽﾞｲ)に”Hello Python!”と出させましょうか？
コード下です(見ればわかると思うけど)

“`Python:script.py
print(“Hello Python!”);
“`

したらそのファイルをダブルクリック(設定によってはワンクリック)
すると？
…..
一瞬だったじゃないですか？
これじゃあ分からないですよねー
だからコマンドでやります

“`run.bat
ファイル名.py
pause
“`

これを実行します。
すると？(本日2回目)


Anaconda におけるExecuting transaction: failedの対処法

## エラー内容
“`
Preparing transaction: done
Verifying transaction: done
Executing transaction: failed
ERROR conda.core.link:_execute(543): An error occurred while uninstalling package ‘defaults::python.app-2-py38_10’.
PermissionError(1, ‘Operation not permitted’)
Attempting to roll back.

Rolling back transaction: done
“`

## 解決方法

“`
$ conda update -n base -c defaults conda
“`

以上です。

受験経験ゼロの底辺文系大卒が大手ホワイト企業のデータアナリストとして内定もらうまで

# はじめに
プログラミングを始めて7ヶ月、ありがたいことにデータアナリストとして3社から内定をいただきました。受験経験ゼロのガチ文系大卒が内定もらうまでの軌跡を紹介したいと思います。後ほど自己紹介しますが、その辺の文系卒とは一線を画します。私こそが文系界のサラブレットです。批判的なコメントやフィードバック大歓迎ですので、お気軽にコメントでご指摘頂けると幸いです。

# 簡単な経歴と自己紹介
2013年: 野球特待生として東海大学付属福岡高校に入学（甲子園予選福岡県大会準優勝）
2016年: 指定校推薦で福岡の文系大学に何の苦労もせず入学（~~男女比率で女性の方が多いのでこの大学を選びました~~）
2020年: 大学を無事に卒業
2021年: データアナリストとして新卒入社予定

大学生活では可愛い博多女子に囲まれながらヤフオクドームでビールの売り子をしたり、ほぼタダでアメリカ留学したり、アメリカ領事館で半年間インターンしたり、世界17ヵ国一人旅したり、中国政府が[50万円相当のプログラム](https://www.j-cfa.com/visit/students2019-01/)を3

画像データ　型変換 【Python】

# 概要

Pythonにて画像データを扱うとき、「numpy（opencv）」「pillow」「byte」にて扱うことがある。それぞれの型変換させるための備忘録。

# numpy -> bytes（未検証）
“`python
num_bytes = num_numpy.tobytes()
“`

# numpy -> pil
“`python
num_pil = Image.fromarray(num_numpy)
“`

# pil -> bytes

“`python
num_byteio = io.BytesIO()
num_byteio.save(num_pil, format=’png’)# 仮にpngにしている
num_bytes = num_byteio.getvalue()
“`

# pil -> numpy
“`python
num_numpy = np.asarray(num_pil)
“`

# bytes -> numpy

“`python
num_byteio = io.BytesIO(num_bytes)
with Image.op

windows10にpythonとVisualStudioCodeをインストールする(2020年4月版)

# 概要
Windows10にPython3とVisualStudioCodeをインストールしたので備忘録

## 動画
動画版もこちらにおいておきます。
[](http://www.youtube.com/watch?v=QRnmsGYL0dM)

#手順
## 1.Python3 インストール
### 1-1. ダウンロード
下記のURLからダウンロードしてください。
https://www.python.org/

IBM CLOUDのAPIを使うにあたり、Python2から３への切り替えが必要な場合にすること

IBM CLOUDのAPIを使うにあたりPython2.7からPython3.xへ変更する場合

※yum がpythonで書かれているので削除は厳禁。

現状の確認を実施
$ python –version
Python 2.7.5
と表示されます。

まずgitをインストール
$ sudo yum install git

次にpyenvをインストールします
$ sudo curl https://pyenv.run | bash
※pyenvはpythonのバージョン切り替えツールです

インストール後に出力されるメッセージに従い~/.bashrcに以下を追加します。
export PATH=”/(Home dir)/.pyenv/bin:$PATH”
eval “$(pyenv init -)”
eval “$(pyenv virtualenv-init -)”

ログインし直すことで利用できるようになります。

$ pyenv
pyenv 1.2.17-2-ga8ca63f
Usage: pyenv []
（以下省略）
が表示されると正常にイ

ERROR:root:code for hash md5 was not found.

ERROR:root:code for hash md5 was not found.

pythonでimportを使用した時、こんなエラーが出た。

python@2が原因の様でしたので、

$brew uninstall python@2

もしくは、

$brew reinstall python@2

を実行した結果、問題解決した。

「この事象はX回中にY回の確率で発生します。」

# はじめに

さまざまな場面である事象が発生する確率や精度を算出し、それを伝える場面があると思います。（例えば、「この事象が発生する確率は0.7327、73.27%です。」など。）この時、確率を言い換えて、X回にY回ですと言いたくありませんか？もしくは、「つまりは、何回中に何回発生するの？」と尋ねられることがあるかと思います。特に、聞き手は具体的にも聞きたいと思っています。

確率の値のみを見て、本記事のタイトルのような「この事象はX回中にY回の確率で発生します。」と言いたい時に、@daikikatsuragawa は頭がこんがらがってしまったことがありました。それゆえ、確率の値を入力値として、分数に変換し出力し、「この事象はX回中にY回の確率で発生します。」と言うことができるようサポートする関数を作成しました。

# 「この事象はX回中にY回の確率で発生します。」

コードは以下のようになりました。

“`python:sample(1)
from decimal import Decimal
from fractions import Fraction

# 確率を分数に変換

Chalice を使ってみるなかで調べた小ネタ3点

## 1. 静的ファイルを Lambda 関数に含める方法

– シナリオ: 簡単な設定ファイル (YAML, JSONなど) を Lambda 関数内で読み込むファイルとして扱いたい。
– 問題: `app.py` と同じディレクトリに `env.yml` を置いたが、 `chalice deploy` してもファイルがアップロードされなかった
– 解決策: chalice プロジェクトの下に chalicelib というディレクトリを作って、そこにファイルを置く。 以下のtreeの結果を参照。
– 使うときは `filepath = os.path.join(os.path.dirname(__file__), ‘chalicelib’, ‘env.yml’)` などのように読み込ませて解決。
– [公式マニュアルでも同様のことが示されている](https://chalice.readthedocs.io/en/latest/topics/multifile.html)

“`bash
$ tree -a .
.
├── .chalice
│   └── conf

Twitter API 申請時の失敗と改善方法(API の使い方追加しました)

## (追記)Twitter API の活用・使い方はこちらから
[Tweepyでツイートを取得](https://qiita.com/i_am_miko/items/a2e5168e619ed37afeb9)
[【Python】tweepyを使ってツイートを全取得し、エクセルファイルに落とし込む](https://karupoimou.hatenablog.com/entry/2019/07/04/185418)
[TwitterAPIを用いた会話データ収集](https://qiita.com/gacky01/items/89c6c626848417391438)

[初心者向け！PythonでTwitterに自動ツイートするプログラムを作る方法](https://i-yusuke.com/entry/twitter-bot/)
[Twitterデータを用いたチャットボットの訓練
](https://qiita.com/gacky01/items/b786b2a097bf473176e8)
[【Python】ドナルド・トランプにおけるTwitter民の感情分析](https://n

Pythonの例外処理

#はじめに
プログラミンを勉強し始めて3カ月ほどたったのでそろそろアウトプットをしていこうと思い
今日からQiitaに記事を書き始めることにしました。

また、自分が今までQiitaの記事に何回もお世話になったのも書こうと思った理由の内の一つです。
初投稿なので温かい目で見て下さい。

今回は、例外処理についてです。(使用する言語はPython)

#目次
1. 例外処理とは

2. Pythonの例外処理
2-1. 基本的な例外処理の書き方 try except
2-2. 例外をキャッチしても処理をスルーするpass
2-3. 例外が発生しなかった場合に処理をするelse
2-4. 例外の発生に関わらずに処理をするfinally

3. おわりに

#1.例外処理とは
まず最初に例外処理とは以下のようなことです。

>例外処理とは、プログラムの実行の継続を妨げる異常な事象（「例外」と呼ばれる）が
発生した際に、その内容に応じて実行される処理のこと。(IT用語辞典から引用)

下記は例外処理の書き方です。(Python)

“`python

try:
# 何らかの

競プロ的観点からPython3のドキュメントを読む

## はじめに
Python3で競技プログラミングをするときに便利な仕様、標準ライブラリを探るべく、[Python 3.8.2 ドキュメント](https://docs.python.org/ja/3.8/index.html)を読みました。
これはあまり知られてなさそうですねと思ったり、普段他の言語を使っている人が python3 を使いたいときに困りそうですねと思ったものを列挙しました。
**python3.8.2 のドキュメントのまとめなので、python3.8.2 未満では使えない機能が含まれています。実際に競プロに使うときはご注意ください。**

– [引数リストのアンパック](#引数リストのアンパック)
– [ループのテクニック](#ループのテクニック)
– [べき乗演算](#べき乗演算)
– [行列乗算演算](#行列乗算演算)
– [複素数型](#複素数型)
– [オーバーラップする代入文](#オーバーラップする代入文)
– [比較の連鎖](#比較の連鎖)
– [同一性の比較](#同一性の比較)
– [所属検査演算](#所属検査演算)
– [短絡評価](#短絡評価)
–

Python＆機械学習 勉強メモ③

[①](https://qiita.com/yohiro/items/04984927d0b455700cd1)
[②](https://qiita.com/yohiro/items/5aab5d28aef57ccbb19c)
の続き

#参考教材
[Udemy みんなのAI講座 ゼロからPythonで学ぶ人工知能と機械学習](https://www.udemy.com/course/learning-ai/)

#課題設定
緯度・経度を与えると、東京・神奈川のどちらに属するかを判定するプログラムを作成する.

#判定方法
入力層2つ・中間層2つ・出力層1つのニューラルネットワークで判定する。

#ニューロンクラス
“`python
class Neuron:
input_sum = 0.0
output = 0.0

def setInput(self, inp):
self.input_sum += inp

def getOutput(self):
self.output = sigmoid(self.input_

LDAPのことを意識させずに操作できるPYTHON用クラス

# はじめに
pythonでLDAPを操作する方法を3回に分けてまとめてきました。複数人で開発する場合は全員がldap3のライブラリやLDAPのことについて理解する必要がありますが、それには時間と労力がかかります。そこでLDAPはツリー構造のデータであるということだけを知っていれば誰でも使えるようにクラスを作成しました。

# 環境
– python:3.6.5
– ldap3:2.7
– イメージ:osixia/openldap

# メリット
– LDAPのことを意識せずに使える
– ルールを加えられる(dc=xxxの後はouにするなど)
– ぱっと見で分かりやすい

# 今回のクラスを使用した例
まずは、今回のクラスを使用した場合にどのようにLDAPを操作するのかを記載します。使用するときはクラス名を変えるとより分かりやすくなるため、この後の説明で出てくるDomainクラスをAddress、OrganizationをOwner、CommonをPetに変更することでAddress -> Owner -> Petの階層であることが意識できます。

“` main.py

DPをPythonで（私が時間を溶かした問題のコメント付コード）

解いていてちょくちょくPythonによる解説記事がなく時間を溶かしてしまうDPの問題に出会うので、そうしたことがあり次第ここにコメント付きコードを貼っておきます。参考までに。

なお、基本的にPyPy3でのverifiedです。
## [第１１回日本情報オリンピック 予選 D – パスタ（Pasta）](https://atcoder.jp/contests/joi2012yo/tasks/joi2012yo_d)
* 精選100問掲載問題
* どなたかのコードを拝借したのですが忘れてしまいました……。

“`Python
n, k = map(int, input().split())
# i日目にはパスタmenu[i]を食べるべしという制約がある
menu = [0 for _ in range(n + 1)]
for _ in range(k):
d, m = map(int, input().split())
menu[d] = m

# dp[i][j]はi日目にパスタj（1<=j<=3）を食べる通り数 # 求めるべきはsum(dp[n]) dp =

pandasで東京都感染者数のグラフを書く2

#前回のあらすじ
この記事は、 [pandasで東京都感染者数のグラフを書く](https://qiita.com/1_s_n/items/90144645b6bbc77b04c9) の続きです。前作を読んでない^^;という人は前の記事から読んでもらえるとわかりやすいと思います。

###おさらい
前回は、pandasにて東京都の感染者数と発表日のグラフを書きました。
pythonにはライブラリが豊富でスバラシイと感じていましたが、型が乱立しすぎててんやわんや…。

今回は、pandasとnumpyを使って、日中平均温度と感染者数の相関係数をもとめます。

#まずは、復習
###相関係数とは？
>関係数（そうかんけいすう、英: correlation coefficient）は、2つの確率変数の間にある線形な関係の強弱を測る指標である[1][2]。相関係数は無次元量で、−1以上1以下の実数に値をとる。相関係数が正のとき確率変数には正の相関が、負のとき確率変数には負の相関があるという。また相関係数が0のとき確率変数は無相関であるという[3][4] 。

[出典: フリー百科事典『ウィキペ

Igniteによるvalidationおよびearly_stoppingの実装【PyTorch勉強記録Day2】

# 0. 本日の内容
・PyTorchフレームワークであるIgniteを用いたvalidationおよびearly_stoppingの実装

# 1. Igniteとは？
PyTorchでは，ニューラルネットワーク訓練における各種演算，すなわち，
・順方向計算
・損失計算
・逆方向計算
・パラメータ更新
を，明示的に記述する必要がある．これらをfor文で回すことにより学習を行う．
これはニューラルネットワークの挙動を学ぶ上では非常に良い反面，実際に活用するとなると記述が煩雑になりやすい．
これをより簡潔に，扱いやすくしてくれるフレームワークがIgniteです.[公式サイト](https://pytorch.org/ignite/)．
なお，Igniteの他にもPyTorch用フレームワークはいくつかあります．こちらの記事が非常に分かりやすいです．↓
[PyTorch 三国志（Ignite・Catalyst・Lightning）- fam_taro氏](https://qiita.com/fam_taro/items/c32e0a21cec5704d9a92#2-%E5%90%84%E3