Python3関連のことを調べてみた2022年06月12日

PythonでGmailを自動送信する方法

最近、Pythonを始めるにあたり、自動化してみたかったGmailの送信処理の実装を行いました。
まだまだPython初心者に自分にとっては、学びになる点が多かったので共有したいと思います。

# 実装
実装は、多くの記事にあるように、Pythonのデフォルトのライブラリである`smtplib`と`MIMEText`の`email.mime.text`を使用して行います。

“`python:mailer.py
import smtplib
from email.mime.text import MIMEText
from dotenv import load_dotenv
import os
import csv

load_dotenv()

class Mailer:
“””メールを送信するクラス
“””

# 初期化
def __init__(self, addr_to, subject, body):
“””Mailerクラスのコンストラクタ

Args:
addr_to (_type_): 送信元先情報

Bカーブの可変抵抗の入力値を使って擬似的にAカーブのようなデータを取り出す

## 可変抵抗の種類について
可変抵抗には抵抗値の変化の特性によって、Aカーブ、Bカーブ、Cカーブといった主に3種類のものが存在するようです。
一般的にはAカーブ、Bカーブのものがよく使われるようですが、用途毎に準備しておくのも無駄ですし、Amazon等で安く購入できる物はBカーブのものが多い印象です。

都合によりAカーブのような特性をもたせたかったのですが手元にBカーブの可変抵抗しか持ち合わせていなかったので、計算式を用いて擬似的にAカーブ、それも任意のカーブ具合に調整できないか考えてみました。

## 計算式
#### 前提
RaspberryPi等で、12bitのA-Dコンバータ経由で可変抵抗の値を取得する場合を想定しています。
私の場合はRaspberryPi4Bと[MCP3208-CI/P](https://akizukidenshi.com/catalog/g/gI-00238/ “秋月電気通商”)を使用しました。

#### Bカーブの可変抵抗をそのまま使用する場合の計算式

$y＝a\ x$
ここで、$x$は12bitなので0～4095まで変化します。この変化量はBカ

Pyenvを使ってから標準入力のリダイレクトがEOF errorになったので対処法

状況が特殊で同じような人はいないと思うけど備忘録

## 経緯
今まで`main.py`に`input.txt`からリダイレクトさせたいと思ったときに
`python main.py < input.txt`と入力していたが、それがPyenvを入れてから `EOFError: EOF when reading a line`になった ## 対処法 コマンドの最初の`python`をなくして`main.py < input.txt`に変えた ## あとがき 原因は謎 多分Pyenvを入れたことで、インタプリターへのパスが変わったとかだと思うけど、 `python main.py`のコマンドは普通に動作する...

会議など保存した音声ファイルの文字起こしをVOSKを使ってお手軽にやる

VOSKが流行っていたのでやってみました。
Google Colaboratoryで実施しましたが、Pythonだったら何でも大丈夫なはずです。

## 下準備する

“`
!pip3 install vosk
!git clone https://github.com/alphacep/vosk-api.git
!wget https://alphacephei.com/vosk/models/vosk-model-small-ja-0.22.zip
!unzip vosk-model-small-ja-0.22.zip
!mv vosk-model-small-ja-0.22 model
“`

## WAVファイルを準備する（アップロードする)

WAVファイルを準備する

16kHz,16bit,monoである必要あり。

以下の記事などを参考に
zoomで録画した動画からffmpeg, soxあたりで変換すると幸せになれました。

http://www.xucker.jpn.org/pc/ffmpeg_wav.html

https://qiita.com/mountce

PythonでGCSをトリガーにBQデータ格納

## やること
GCSにファイルがアップロードされたことをトリガーに、そのファイルをBQに格納する

## GCS
GCSのコンソール上で「バケットを作成」
※今回は名前が`test`
その下の階層に「フォルダを作成」
※こちらも名前が`test`

あげるファイル
`test20220606.csv`

date,id,name,click
2022-06-06,111111,Aki,4
2022-06-06,222222,Haru,10
2022-06-06,333333,Natu,23
2022-06-06,444444,Huyu,19
2022-06-06,555555,Oto,1

## BigQuery
プロジェクトからデータセットだけ作成
データセット名：`test`

## コード
requirements.txt

google-cloud-bigquery

`pip install -r requirements.txt`

main.py

from google.cloud import big

scipy.stats ジャック・ベラ検定 jarque_bera

# scipy.stats ジャック・ベラ検定 `jarque_bera`

データが尖度と歪度からみて，正規分布にしたがっているかを検定する。

サンプルサイズが 2000 以上の場合にのみ十分な近似ができる。小標本の場合には $\alpha$ エラーが大きくなりがちである。

`jarque_bera(x)`

“`python
from scipy.stats import jarque_bera
import numpy as np

np.random.seed(123)
x = np.random.normal(50, 10, 2000)
jarque_bera(x)
“`

Jarque_beraResult(statistic=4.35459209387323, pvalue=0.11334760325001603)

“`python
from scipy.stats import t
np.random.seed(123)
y = t.rvs(df=1, size=2000)
jarque_bera(y)
“`

Jarq

Pythonの例外エラーログ、もうちょっと詳しく見たくない？

ある日の某Pythonアプリケーションのエラーログを眺めていると謎のエラーが…!

“`
Traceback (most recent call last):
File “/sandbox/app.py”, line 22, in
main()
File “/sandbox/app.py”, line 17, in main
sub()
File “/sandbox/app.py”, line 10, in sub
raise Exception(“sub error!”)
Exception: sub error!
“`

例外が起きたときのTracebackですね。
Exceptionに詳細が記録されていればわかりやすいのですが、上記のようになぜエラーが起きたのかわからないと困りますよね。

そんなとき、Tracebackのstackを追いかける事でそのときのローカル変数を取得できます。

こんなアプリケーションがあるとして
“`
def sub():
d = 4
e = 5
raise Ex

python学習 – 2日目

# はじめに
python初心者がこっそり学習する。
2日間が空いてしまいました。。

# 今日やること
– 文字列
– 数値

# 文字列
## 文字列の書き方
文字列の書き方は、
– “(ダブルクォーテーション)で囲む
– ‘(シングルクォーテーション)で囲む

pythonの場合はどちらで囲んでも結果は同じ。
ただ、他言語を学んでいる人は、なんとなくどっちで囲むか感覚が身についているみたい。
文字列を’か”で囲んでいないと、コードが動かなくなるので注意。
膨大なコードを書いたときに、ここでミスすると修正が大変そう。。
`入力例`

“`
# 牛タンと表示
print(“牛”)
print(‘tongue’)
“`

`実行結果`
“`
牛
tongue
“`

## エスケープ文字の扱い方
‘でも”でも、エスケープ文字を置換して出力する。
置換しない場合は文字列の前に r または R をつけると置換されなくなる。

`入力例`
“`
# スクール水着の間を改行
print(“スクール\n水着”)
“`

`実行結果`
“`
スクール
水着
“`

`入力例`
“

scipy.stats: Brunner-Munzel 検定 brunnermunzel

# scipy.stats: Brunner-Munzel 検定 `brunnermunzel`

Brunner-Munzel 検定を行う。

`brunnermunzel(x, y, alternative=’two-sided’, distribution=’t’, nan_policy=’propagate’)`

– `distribution`　$p$ 値の計算に $t$ 分布を使う（デフォルト）とき `’t’`，標準正規分布を使うとき `’normal’` を指定する。

“`python
from scipy.stats import brunnermunzel
import numpy as np

x = np.array([1, 2, 1, 1, 1, 1, 1, 1, 1, 1, 2, 4, 1, 1])
y = np.array([3, 3, 4, 3, 1, 2, 3, 1, 1, 5, 4])
brunnermunzel(x, y)
“`

BrunnerMunzelResult(statistic=3.1374674823029505

Error: java.lang.RuntimeException: PipeMapRed.waitOutputThreads() の解決法

###### 環境
– Windows 10 Pro(ホストOS)
– VMware Workstation 16 Player 16.2.3
– Ubuntu 22.04 LTS(ゲストOS)
– Hadoop 3.3.3
– openjdk version 11.0.15

###### 検証
1.下記コマンドを実行
“`
hadoop jar share/hadoop/tools/lib/hadoop-streaming-3.3.3.jar -files /var/tmp/mapper.py,/var/tmp/reducer.py -mapper /var/tmp/mapper.py -reducer /var/tmp/reducer.py -input /user/hadoop/input.txt -output /user/hadoop/pythonOutput
“`
“`/var/tmp/mapper.py
#!/usr/bin/env python
import sys

for l in sys.stdin:
for word

scipy.stats: ムード検定 mood

# scipy.stats: ムード検定 `mood`

2 つのデータが同じ分布で，尺度パラメータが等しいかどうかの検定である（ノンパラメトリック検定）。

`mood(x, y, axis=0, alternative=’two-sided’)`

戻り値は，検定統計量と $p$ 値である。

“`python
from scipy.stats import mood
import numpy as np

ramsay = np.array([111, 107, 100, 99, 102, 106, 109, 108, 104, 99,
101, 96, 97, 102, 107, 113, 116, 113, 110, 98])
jung_parekh = np.array([107, 108, 106, 98, 105, 103, 110, 105, 104,
100, 96, 108, 103, 104, 114, 114, 113, 108, 106, 99])
mood(ramsay, jung_parekh)
“`

scipy.stats: 二項検定 binomtest

# scipy.stats: 二項検定 `binomtest`

母比率の検定を行う。

`binomtest(k, n, p=0.5, alternative=’two-sided’)`

– `k`　成功数
– `n`　試行数
– `p`　母比率。デフォルトで 0.5
– `alternative`　検定種別。デフォルトで両側検定 `’two-sided’`，片側検定は `’greater’`，`’less’`

戻り値は　`pvalue` などを含むオブジェクト

このオブジェクトのメソッド

`proportion_ci(confidence_level=0.95, method=’exact’)`

– `confidence_level`　信頼度
– `method`　デフォルトは `’exact’`，その他に `’wilson’`，`’wilsoncc’`

“`python
from scipy.stats import binomtest

object = binomtest(682, 925, p = 3/4)
print(object.pvalue)
pri