Python3関連のことを調べてみた

[Colab][Python3]ニューヨークダウ指数の推移を可視化する方法

## 要　旨
Colabを利用してPython3においてニューヨークダウ指数の推移を可視化する方法について記述します。
## 実施要領
必要なライブラリのインストール等
“`python3
!pip install japanize_matplotlib
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import japanize_matplotlib
%matplotlib inline
%config InlineBackend.figure_format = ‘retina’
“`
ニューヨークダウ指数の取得
“`python3
from pandas_datareader import data as web
from pandas import Series, DataFrame
import datetime

ny_dow_df = web.DataReader(“DJIA”, “fred”, start=datetime.date(1900, 1, 1))
ny_dow

【Python】range関数の数値がタプルに…「’tuple’ object cannot be interpreted as an integer」エラー

# 概要
環境変数で設定した値に「`1,000,000`」のようにカンマを入れていたら、タプルとして解釈されてしまうことが分かりましたので、備忘録として紹介します。

# エラーが発生したコード

（実際に運用していた時は、別の環境設定ファイルから数値を取得していましたが）実際にやっていたことは以下の通りです。

“`py
### 別ファイルで設定した値 ###
NUMBER = 1,000,000

### プログラムのコード ###
number = NUMBER

for i in range(number):
# …処理…
“`

エラーメッセージ

“`
for i in range(number):
TypeError: ‘tuple’ object cannot be interpreted as an integer
“`

# 原因と解決方法
冒頭にも記載した通り、Pythonではカンマで区切られた数値はタプルとして解釈されます。
そのため、`1,000,000`と記載していると、タプルとして`range`関数に渡されてしまいます。

因果関係の考え方

以前に因果推論についての記事を書きましたが、因果推論は説明できても因果関係とは何ぞやとなった場合に意外と説明できない方も多いのではないでしょうか。
因果関係は様々な考え方がありますが、ここでは「疫学」における因果関係について説明していこうと思います。
疫学と聞くと疫病を未然に防ぐ医学の学問と思われがちですが、実際には統計学に近い学問で、統計学はデータ分析とすると疫学はデータの集め方とググったら出てきます。
例えば因果関係を推定するためにデータを集めるには
– ランダム化比較試験(RCT)
ある試験的操作（介入・治療など）を行うこと以外は公平になるように，対象の集団(特定の疾患患者など)を無作為に複数の群（介入群と対照群や，通常＋新治療を行う群と通常の治療のみの群など）に分け，その試験的操作の影響・効果を測定し，明らかにするための比較研究
(出典：日本理学療法学会連合)

– コホート研究
ある特定の疾患の起こる可能性がある要因・特性を考え，対象

ABC350 with Python (A～F)

ABC350のA~F問題をpythonで解説していきます。

# A – Past ABCs
## 問題
長さ $6$ の文字列 $S$ が与えられます。$S$ の先頭 $3$ 文字は `ABC` であり、末尾 $3$ 文字は数字であることが保証されます。

$S$ が、このコンテスト開始以前に AtCoder 上で開催され終了したコンテストの略称であるかどうか判定してください。

ただし、文字列 $T$ が「このコンテスト開始以前に AtCoder 上で開催され終了したコンテストの略称」であるとは、以下の $348$ 個の文字列のうちいずれかに等しいことと定めます。

`ABC001`, `ABC002`, $\ldots$, `ABC314`, `ABC315`, `ABC317`, `ABC318`, $\ldots$, `ABC348`, `ABC349`

特に `ABC316` が含まれないことに注意してください。

https://atcoder.jp/contests/abc350/tasks/abc350_a
## 考察
素直に今まで開催された会をリストに入れて、文字

sentence-transformesでのcallback関数の書き方

Sentence-TransformersでEmbedding Modelをトレーニングする際に、どのようにCallback関数を書いたらいいかの日本語の記事がなかったので、備忘録を兼ねて残しておきます。

Sentence-TransformersでEmbedding Modelをトレーニングするコード自体はこちらを参考にしてください。[LlamaIndexによる埋め込みモデルのファインチューニングを試す](https://note.com/npaka/n/nd69fbfbdfa74)
また、こちらは公式のDocumentです。[SentenceTransformer](https://www.sbert.net/docs/package_reference/SentenceTransformer.html)

今回はEvaluatorから提供されるスコアが最高値になった際にモデルを保存するCallback関数を例に書きます。
best_model自体は既にfitのオプションとして実装されているのでご注意。

### Callback関数
“`Python
best_score

【 Python 超入門書を ✨ 無料配布中です ✨ 】

プログラミングと Python が, 超初心者な方のために, 入門書を書かせていただきました (o'(ェ)’)人🐍✨

[第２版] になります 🐍

Windows11 を, プラットフォームとしております 🐍

amazon の規定で ｢最長５日間｣ までしか, 無料キャンペーンを行えないので, ４月21日から, 25日までの５日間だけ ｢無料配布｣ をさせていただいております 🐍✨

ご興味ありましたら, 何卒, よろしくお願いいたします 🐍✨

↓ ココ

https://www.amazon.co.jp/%E3%81%AF%E3%81%98%E3%82%81%E3%81%A6%E3%81%AE%E3%83%97%E3%83%AD%E3%82%B0%E3%83%A9%E3%83%9F%E3%83%B3%E3%82%B0-Python-%E5%85%A5%E9%96%80%E8%80%85%E3%81%AB%E3%81%AA%E3%82%8B%E3%81%9F%E3%82%81%E3%81%AE%EF%BC%91

読みにくいMNISTの文字を見つける

突然ですが、私はリアルでは字が汚いと言われることがあります。どれくらい汚いかと言われると、大学院生時代に生協で備品を注文しようとした時に個数を数字で書くと職員さんが読めないレベルで字が汚いらしいです(自分は達筆なのだと思っています)。
ところで機械学習で字といえばMNISTを想像される方が多いと思いますが、あれって実際機械学習を勉強するにしては字がきれいなのかとふと疑問に思うことがあります。生データを見てみると「え、読めない」と思うことがあるのですが、じゃあ機械学習を使ってみるとどうなるのかちょっと覗いてみましょう。
# コーディング
## ライブラリのインポート
“`Python3
from sklearn.datasets import load_digits
from sklearn.neural_network import MLPClassifier
from sklearn.model_selection import train_test_split as tts
import numpy as np
import matplotlib.pyplot as plt
“

VIFを計算する

以前書いた記事で自由に値を入れてシミュレーションするならVIFを計算して多重共線性を考慮した上で値を入れましょうと書いたことがあります。
今回はそのVIFについて書いていきます。
>独立変数間の多重共線性を検出するための指標の1つ。独立変数間の相関係数行列の逆行列の対角要素であり、値が大きい場合はその変数を分析から除いた方がよいと考えられる。10を基準とすることが多い。
>『統計WEB』より

分かりやすく言えば説明変数間で独立していない変数があります。でじゃあそういう変数ってどういうものかっていうと変数間で相関がある物だと考えてください。
当たり前ですけど変数間で相関があったらそのまま値を入れちゃダメで、相関に基づく回帰した値を入れないと実データと乖離する可能性があり再現性に難がある可能性があります。
そこでVIFを計算して変数間で相関のある変数を削除して全ての変数を独立させます。
ではここからは具体的にプログラムとデータを使ってやっていきま

python GUI入門 tcl/tk 子ウィンドウ起動

# 実行サンプル
子ウィンドウ起動


・ボタン押下で mode 指定して、子ウィンドウ起動
　モード指定により、画面GUIが違うものとして表示される

・ChildWindowが既に存在する場合はメッセージボックスで通知し、新たに開かないようにする

・childWin.py で mode を引数として受け取る

・childWin 起動後、画面が閉じられるまで、次の処理は実行されないようにする

・main.py と childWin.py で情報受け渡しする

# 実行環境
windows10
python3.9.5

pythonモジュール　tcl/tk

# 実行手順
ソースコードを作成する
windowsコマンドプロンプトでプログラム作成したフォルダに移動し、下記実行する
“`
python プログラム名.py
“`

503を返すモック用Webサーバーの立ち上げ

「503エラーのテストしたいのですが、何か方法思いつきませんか」と質問されたので。
（おそらく何かしらのAPIを提供しているサーバーがエラーを返したときを想定しているのかな、と推測）。

API叩くツール等でモックサーバーを提供していると思われるのでそれを利用する、
AWSのアカウント等があるならロードバランサーを立ち上げる、
などいろいろな解決方法はあるかと思いますが、取り急ぎかつローカルでの検証であればpythonで十分かなーと単に503を返す標準ライブラリで起動できるサーバーをお勧めしました。
nodejsやRuby等でも同じことはできますが、仕事用の端末に入ってないのでPythonで。

“`python
from http.server import HTTPServer, BaseHTTPRequestHandler

class My503Handler(BaseHTTPRequestHandler): # BaseHTTPReuqestHanderに基本的な部品がある
def do_GET(self): # do_GETでGETメソッドがハンドリングできる

Djangoの開発環境からhello worldまで

Djangoで株価の推移をチェックできるアプリケーションを作ろうとしています。そのため、Djangoの基本的な開発環境を調べて、hello worldまで出力させてみました。

# 環境
windows 11 Home
Linux version 5.15

# 手順
作成から使用するまでの大まかな手順です。
1. 仮想環境(venv)の作成
1. プロジェクトの作成
1. アプリケーションの作成
1. サーバーの起動

# 開発環境
Djangoの開発を進めていくうえでpythonのライブラリのversionを変更し、作成を進めていきます。pythonで作成した他のコードでライブラリ依存によるエラーの発生を防ぐため、仮想環境を構築し、その中でライブラリを管理して開発進めていきます。最初に仮想環境について説明した後、Djangoの開発環境からhello worldまでを説明していきます。

## 1. 仮想環境の作成
今回は、pythonの仮想環境ツールでプロジェクトごとに隔離されたpython環境を作成できる“`venv“`を用いて開発を進めていきます。作成した仮想環境を有効化

Python標準入力受け取り方メモ

# 数値と文字列を同時に受け取る
入力される数値と文字列
“`pyton
ピカチュウのレベル 95
“`
一度str型で受け取ってからint型にする
“`python
text,level=map(str,input().split())
level=int(level)
“`
# 文字列で入力された配列を受け取る
入力
“`python
[1,2,3,4,5]
“`
まずリストで受け取って” [ ” と” ] “を外す。その後int型に変換して新しいリストに格納する。
“`python
receive=list(map(str,input().split()))
receive=receive[1:-1] # “1,2,3,4,5”
new_list=[]
for i in range(len(receive)):
new_list.append(int(receive[i]))

“`
# 数値を同時に受け取る
## 変数で受け取る
入力される値
“`python
1 2
“`
変数で受け取る
“`python:
A,B=map(int,input(

2値分類のしきい値をいじって精度の調整

Scikit-LearnやKerasやその他いろいろと最後にシグモイド関数を使って分類する事は2値分類(陽性か陰性)では多いです。
ですが、2値分類において大体の場合しきい値は0.5以上だと1(一般に陽性)で0.5未満だと0(一般に陰性)とすることが初期設定では多いです。
ただ、もちろんそれに合わせて回帰しているのでその考え方自体は間違っていないのですが、時として他の値をしきい値にすることでより汎化する事もあります。
そこで以下の指標を基に実際にロジスティック回帰のしきい値を変えて汎化能力を考察してみましょう。
– 正解率
– 再現率
陽性・陰性のデータが実際に陽性・陰性と判断された割合
– 適合率
陽性・陰性と判断されたデータが実際に陽性・陰性だった割合
– f1
再現率と適合率の調和平均

# コーディング
## ライブラリのインポート
ロジスティック回帰を分かりやすくするためここではstatsmodelsを使用します。
“`Python3
from sklearn.metrics import classification_report
import statsmodels.a

【Python】sys.exit(1)を使ってTrackback情報等を出力させずにプログラムを終了させる

# 概要
例外エラーの捕捉やエラーメッセージの出力を実装していると、余計な情報は出さすにプログラムを終了させたい場合や更なるエラーが出さないようにしたいケースがあります。そんな時に、`sys.exit(1)`を使うと有用だったので紹介します。

# サンプルコード

Pythonの組み込みモジュールである`sys`の`exit`関数を利用することで、プログラムを終了させることができます。
こちらを利用したコードが以下。

“`py
import sys

def divide(x, y):
if y == 0:
print(“エラー: 0で除算することはできません。”)
sys.exit(1)

return x / y

print(divide(10, 0))
# エラー: 0で除算することはできません。
“`

もし、`sys.exit(1)`がない状態だとどうなるでしょうか？

“`py
import sys

def divide(x, y):
if y == 0:
print(“エラー: 0で除算

[Colab][Python3]日経平均株価の推移を可視化する方法

## 要　旨
Colabを使用してPython3において日経平均株価の推移を可視化する方法について記述します。
## 実施要領
必要なライブラリのインストール等
“`python3
!pip install japanize_matplotlib
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import japanize_matplotlib
%matplotlib inline
%config InlineBackend.figure_format = ‘retina’
“`
日経平均株価の取得
“`python3
from pandas_datareader import data as web
from pandas import Series, DataFrame
import datetime

nikkei_df = web.DataReader(“NIKKEI225”, “fred”, start=datetime.date(1900, 1, 1))
nikkei_df

‘I’ の数 (paizaランク B 相当)

https://paiza.jp/works/mondai/query_primer/query_primer__word_count

やってることは累積和の差し引きをして、その数を比較するだけのもの。
もうすこし累積和の特徴を知っておかなくては。。。

“`py
N,K = map(int,input().split())
A = [int(input()) for _ in range(N)]
# 累積和を求める
ans = [0] + A[:]
for i in range(1,N+1):
ans[i] += ans[i-1]

for _ in range(K):
a_left,a_right,b_left,b_right = map(int,input().split())

# 累積和の足し引きで可能。ただしleftは−1引く必要がある
a = ans[a_right] – ans[a_left – 1]
b = ans[b_right] – ans[b_left – 1]

#ルール確認・相手も反則してなければ必

【Python】pandasを利用してCSV列にあるJSON構造の中から、指定データを新規列へ取得する方法

# 概要
Pythonのpandasを利用して、CSVファイルの列にあるJSON構造のデータから、指定したものを取り出すコードを実装しました。

# サンプルコード
前提として、`sample_body`列の中にJSON構造のデータがあるとします。また、その中のデータは以下のようになっています。

“`json
{
“information”: {
“sample_no”: “123456789”,
# …略…
“`

CSVファイルの一番左の列に、新規に`sample_no`という列を作成し、それに紐づく`123456789`という値を入れるコードが以下です。

pandasライブラリを利用して、`DataFrame`の各行からデータを抽出し、その値を新しい列としてDataFrameに追加しています。

“`py
import pandas as pd
import json

def get_sample_no(row):
sample_body = json.loads(row[‘sample_body’])
return s

Pythonの管理にRyeをおすすめしたい

Linux上でPythonをインストールするのってめっちゃ面倒くさいですよね。
Ryeを使えばPythonのインストールからバージョンの管理・変更、パッケージ管理がノンストレスでできちゃう！
# Ryeって何( 簡単に )
RyeはPython用の包括的なプロジェクトおよびパッケージ管理ツール。Pythonのインストール、プロジェクト・依存関係・仮想環境の管理を爆速で統合的に行える。
# インストール方法
Linuxにおいてのインストール方法。
以下を実行するだけ [Installation – Rye (rye-up.com)](https://rye-up.com/guide/installation/)
“`bash
curl -sSf https://rye-up.com/get | bash
“`

## 尋問される
インストール過程でいくつか質問される。

“`bash
? What should running `python` or `python3` do when you are not inside a Rye managed project? ›
❯ R

便利な開発環境設定とショートカット【Win11 / VSCode / Python】

# はじめに (経緯と目的)
こんにちは、 @yomo93 です。
私の研究室では私を含む全ての所属学生がPythonによって研究・開発に取り組んでいます。例年、新規で配属される学生はPythonに慣れていないことが多いので、研究室全体の開発環境は[WinPython](https://winpython.github.io)または[Anaconda](https://www.anaconda.com/download)が推奨されてきました。
しかし、今年は方針転換があり、推奨エディタを[VSCode(Visual Studio Code)](https://code.visualstudio.com/download)にすることになりました。
そこで、研究や[お笑いWebサービス 「Tendon」](https://tendon-psi.vercel.app)開発[^1]でVSCodeを使用してきた私が**おすすめの拡張機能等を研究室のメンバー向けに紹介しよう**と思います。ただ、私も何気なく使っていたり、この記事を書くにあたって発見したものも多かったため、探り探りの部分があることも

深さ優先探索と幅優先探索で辞書データの構造解析

外部のオープンデータを活用する上でWebAPIを活用することは多いと思います。特にその中ではJSONやXMLが多く、PythonでJSONやXMLを利用する際には辞書形式に直して活用します。
※なお、幅優先探索については深さ優先探索を作った後にChatGPTに教わって作りました
# 深さ優先探索の関数
第一引数は辞書データ、第二引数は文字列として初期値は何も入っていませんが、辞書に使う変数名を入れるとその後辞書をピンポイントで必要な所をコピーペーストする時に便利なので辞書に使う変数を第二引数に入れて関数を使うことをお勧めします。
“`Python3
def depth(jsn, var=””):
if isinstance(jsn, dict):
for row in jsn:
depth(jsn[row], var=var+”[\””+row+”\”]”)
elif isinstance(jsn, list) and jsn != []:
for i in range(len(jsn)):