Python3関連のことを調べてみた

Python3でファイルのメッセージダイジェストを求めたい

Python3でファイルのメッセージダイジェストを求める方法を紹介します。ここではSHA256を例にします。

python3.11以降の場合、`hashlib.file_digest`を利用します。

“`python3
import hashlib
with open(‘INPUT.txt’, ‘rb’) as f:
digest = hashlib.file_digest(f, “sha256”)
print(digest.hexdigest())
#=> 6f67ea379608add8b4f3c0a3c95c0e70ab2752405de7c69c152faabd5870305e
“`

それ以前のバージョンの場合は、ファイルを自前で読み込む必要があります。

まずファイル内容をすべてメモリ上に展開してよい場合は以下のようなコードになります。

“`python3
import hashlib
with open(‘INPUT.txt’, ‘rb’) as f:
digest = hashlib.sha256(f.read())
print(digest

Chainlitをクラウド上で編集・起動してみる

ChainlitをGCP Cloud Shell Editorでプレビューしてみるのが今回やること。

## 準備
### Cloud Shellに入る
Web検索からすぐ入れるページがここ。
ここで「コンソールへ移動」をクリック。

下のような画面が出てくるので、「エディタを開く」を選択。

すると、このような画面が出てきて、しばし待つ。
![スクリーンショット 2024-06-14 225908.png](https:/

Windowsでバイオインフォマティクス(分子系統解析)の実行環境を構築する

## 背景
バイオインフォマティクスでは、MacBookの使用が推奨され、Windowsでの環境構築に関する情報が少ないです。この記事では、WSL2を使用して、Windows PCで分子系統樹解析を行うための環境構築方法を紹介します。バイオインフォをこれから始める人に向けて、丁寧に書いていきたいと思います。

## 動作環境
– Windows11
(Anaconda3のインストール後の操作は、Macの人も参考になると思います)

## 環境構築フロー
1. WSL2のインストール
2. Anaconda3のインストール
3. Anaconda3で解析用の仮想環境を構築
4. 各種パッケージのインストール

## 1. WSL2のインストール
WSL2とは、Windows Subsystem for Linux 2の略称で、Windowsコンピュータ上でLinux環境を構築することができます。Linuxと聞くとギョッとしてしまうかもしれませんが何も恐れることはありません!今までのWindows環境が壊れることもありません。
### 手順
1. Windows PowerShellを管理

【langchain】EnsembleRetrieverがDocumentを同一とみなす条件

# 概要
langchainのEnsembleRetrieverが異なるretrieverから検索の結果得られたDocumentをアンサンブルするとき、どういう条件でDocumentの異同を判断しているのか調べました。
結論としては、page_contentが同じとき、同一のDocumentとみなすようです。
# 検証
検証バージョンは以下です。

“`sh
langchain 0.2.3
langchain-community 0.0.29
langchain-core 0.2.5
“`

まず全く同じtextのリスト２つ用意し、それぞれでretrieverを作って、均等な重みでensembleしてみます。

“`Python
from langchain_community.retrievers import BM25Retriever
from langchain.retrievers import EnsembleRe

バージョン管理とログ管理を楽にするサンプルコード

研究をしているときに`git`でバージョン管理をすることは少なくないと思います。

– 複数人で開発を行っている場合
– 同じファイル構造をローカルPCとリモートサーバーなど2箇所に保存し、実行する場所(サーバー・GPUなど)とコードを書く場所(PC)を分けて開発する場合

などでお世話になる機会が多く、`git`に足を向けて寝られないエンジニアがほとんどなのではないでしょうか。

ある日、筆者はこのようなケースにぶち当たりました。

– かなり前の学習モデルの動作確認をしようとしたが、モデル構造が以前と今では変更されており、どのバージョンまで戻せばいいのか分からない
– `nohup`実行したときに`nohup.out`のどの部分にログが残っているのか分からない

このとき、`git reset`や`git reflog`,`git revert`を駆使して頑張ってバージョンを戻すことも可能ですが、間違えて今のファイルを全部消してしまうリスクもありますし、元のバージョンに戻すのが面倒くさいケースもあります。

極論言えば、タイムスタンプ付きのログ用フォルダを用意して、そこに移動すれば

Openpyxl: Cell の結合 （汎用版）

こちらのプログラムを汎用的に使えるように改造しました。
[Openpyxl: Cell の結合](https://qiita.com/ekzemplaro/items/9996dc355cc957c1dd61)

## プログラム

“`py:merge_cells.py
#! /usr/bin/python
# —————————————————————
# merge_cells.py
#
# Jun/14/2024
# —————————————————————
import sys
import openpyxl
from openpyxl.styles import Alignment

# —————————————————————
# [4-6]:
def column_analize(ws,column):
p

Pythonでファイルが見つからない

Pythonを初心者の頃、以下のようなコードでファイルが見つからず悩んだ。
“`file_not_found.py
with open(“test.txt”) as file:
print(file.read())
“`
VScode上でPythonファイルをディレクトリで開かずに、再生ボタンを押して実行していたことがこの問題の原因である。この場合、作業ディレクトリがPythonファイルの存在するディレクトリではない。Pythonファイルからみた相対パスで指定すると`FileNotFoundError: [Errno 2] No such file or directory: ‘test.txt’`と注意されてしまう。

再生ボタンを押すだけで実行可能という利便性を持たせつつ、ファイルのパスを正しく指定する解決法を2つ示す。
## pythonファイルのパスから絶対パスをつくる
Pythonでは`__file__`からそのPythonファイル自体のパスが得られる。文字列の操作でもパスをつくることができるが、`os`や`pathlib`を使うと簡単にパスが作れる。`os`では

Openpyxl: Cell の結合

セルを結合するサンプルです。

結合前


結合後


## プログラム

“`py:merge_cells_basic.py
#! /usr/bin/python
# —————————————————————
# merge_cells_basic.py
#
# Jun/14/2024
# ———————————————————

うるう年の判別方法

### この記事では、Pythonを使い、どの年が、うるう年になるかを判別したい。

### うるう年とは
うるう年は、1年が366日ある年です。そうでない年は、平年だ。
ここでは、うるう年を”Leap year”, 平年を”Standard year”として定義しておく。

### うるう年のルール
1. 西暦年が、4で割り切れる年は、（原則）として閏年
2. 西暦年が、100で割り切れて400で割り切れない年は、平年
example: 2100年は、100で割り切れるが、400で割り切れないので、平年になる。
要するに、4年に1回ある夏のオリンピックは、うるう年に開催されています。

### 西暦を受け取る
year = int(input(“year”))
西暦をinput関数で受け取り、int型に変換

### うるう年かを判別

if year % 100 == 0 and year % 400 != 0:
print (“standard year”)

elif year % 4 == 0:
print (“leap year”)

else:
print

SeleniumをAWS lambda python3.8以上で動かす[AWS SAM]

# AWS LambdaでSelenium

webスクレイピングで便利なseleniumですが、サーバーレスと組み合わせると、APIやFTPが無くてもデータ連携させたりできるので、重宝しています。

ただLambdaでseleniumを動かすにはheadlessブラウザのchromiumと対応するchromedriverが必要で、バージョンによってはうまく（ほとんど）動かなかったりします。

とくにpython3.8以上ではLambdaのOSがAmazon Linux2で稼働するようになったため、seleniumがモジュール不足で動かなくなってしまい、従来のようにコード一式zipであげてといった方法が使えなくなりました。

私も業務で運用フローに組み込んでしまっているので、死活問題。python3.8だっていつまで使えるのか。（EOLを見よう）

https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/lambda-runtimes.html

python3.8廃止は2024年10月14日、うん、すぐだね。:fearful:

というこ

IndentationError: unindent does not match any outer indentation level というエラー文に出くわす

# はじめに
　FastAPIとstreamlitを使用して会議室予約アプリを作成していた際に困ったのでまとめます。
# 問題
“`
File “/Users/my_study/FastAPI/会議室予約システムAPI/app.py”, line 117
submit_button = st.form_submit_button(label=’リクエスト送信’)
^
IndentationError: unindent does not match any outer indentation level
“`
というエラーに出くわしました。
# 原因
　調べるとインデントが誤った時に出るエラー文でした。自分のコードも単純にインデントが誤っていただけでした。
https://izanagi-portfolio-site.com/blog/articles/5tijnkzlq/#gsc.tab=0
# 解決
　インデントを修正したらエラー解消されました。

PygameとPygletを同時に動かす（＆初めてのPyglet備忘録）

　pygletでキー入力やら表示やら出来るようになった後、アクションゲーム的なものを作成。最終的にpygameと組み合わせるまで。

　……あと、pyglet使ってみて思ったけど、pygameよりもいいかも。

# 目次
– [動機](#いや何の意味があるねん)
– [初めてのpyglet](#初めてのpyglet)
– [とりあえず文字を表示して、四角形を動かす](#とりあえずpygletで文字を表示し四角形を動かす)
– [バッチを使う（Batch Rendering）](#バッチを使う)
– [コーヒーブレイク：OpenGL方式の描画](#コーヒーブレイクopengl方式の描画)
– [アクションゲーム的なものを作ってみる](#アクションゲーム的なものを作ってみる)
– [pygameと組み合わせる](#pygameと組み合わせる)
– [pygameのインストール](#とその前にpygameをインストールしなきゃ)
– [pygameの基礎](#pygameの基本)
– [pygletにpygameを合体](#が

PostgreSQL: SQL のサンプル （スキーマの一覧）

スキーマの一覧を表示する SQL

“`sql
SELECT schema_name FROM information_schema.schemata;
“`

スキーマ名が sch で始まるものだけを選ぶ

“`sql
SELECT schema_name
FROM information_schema.schemata where schema_name LIKE ‘sch%’;
“`

## Python 版

“`text:.env
user=’scott’
password=’****’
data_base=’*****’
“`

“`py:select_schema.py
#! /usr/bin/python
#
# select_schema.py
#
# Jun/13/2024
#
# ——————————————————–
import sys
import os
import psycopg2
import psycopg2.extras
from dotenv impo

二部マッチング問題とは？

# 二部マッチング問題とは

二部マッチング問題とは、2つのカテゴリ含まれるノード間に辺がある場合に、最大何辺(何ペア)取れるかを考える問題である。

“`mermaid
graph TD
A1((A1)):::red –> B1((B1)):::blue
A1((A1)):::red –> B2((B2)):::blue
A2((A2)):::red –> B2((B2)):::blue
A2((A2)):::red –> B3((B3)):::blue
A3((A3)):::red –> B1((B1)):::blue
A3((A3)):::red –> B3((B3)):::blue

classDef red fill:#ffcccc,stroke:#ff0000,stroke-width:2px;
classDef blue fill:#ccccff,stroke:#0000ff,stroke-width:2px;
“`

このような問題は例えば

– 男女のペアマッチング問題
– グリッドの盤面

PythonでGuess the Number Game を生成してみた

### この記事の目的は、”Guess the Number Game”、プログラムがランダムに数字を選び、プレイヤーがランダムに数字を当てるゲームをどのようにPythonで生成するか紹介するのが主旨だ。

## まずは、初期設定をする。

まずは、randomモジュールからrandint関数を使い、
指定された範囲内のランダムな整数を生成することができる。
次に、artというモジュールから、clear関数をimportする。

ランダムに数字を選ぶのは、ユーザーにとって至難の技であるため、
今回私は、レベルを5つ設けた。

Supereasyレベル: ユーザーが50回数字を失敗するまで、ゲームオーバーにならない。
Easyレベル: ユーザーが20回数字を失敗するまで、ゲームオーバーになら

BlackjackをPythonで生成してみた

### この記事の目的は、Blackjackという手持ちのカードの数字の合計が、21を超えない範囲で21に近い方が勝ちというカードゲームをどのようにPythonを使って生成するかが主旨だ。


この3行のコードをわかりやすく説明しよう。

まず、Pythonの組み込みモジュール”random”をインポート
“replit”のモジュールから”clear”関数をインポート
“art”というモジュールから”logo”という変数または関数をインポート

### Deal Card関数
def deal_card():
cards = [11, 2, 3, 4, 5, 6, 7, 8, 9, 10, 10, 10, 10]
card = random.choice(cards)
retu

クラスメソッドでcacheを使うときの注意点

# まえがき
クラスのメソッドをmemoizeしたいとき、安易にlru_cacheを使ってはいけない

## 参考
https://qiita.com/fumitoh/items/f36dc494eec35a13f513

## 引用元

# 実例

元のコードはこのような形
“`python
import time

class C:
def __init__(self, y: int) -> None:
self.y = y

def compute(self, x: int) -> int:
print(‘computing…’)
time.sleep(.5)
return self.y * x

def __del__(self) -> None:
print(f’delete {self}’)
“`

`compute` が呼び出されるたびに計算が走り 0.5 秒かかる
“`p

PostgreSQL: SQL のサンプル

PostgreSQL で スキーマ sch015 内で ren015o003 というテーブル名を与えて、
ren015o003 と一番多くコラムが一致するテーブルと一致したコラムの数を表示するSQL

## SQL

“`sql:search_table.sql
set search_path=sch015;
SELECT
t2.table_name, COUNT(*) AS matching_columns
FROM
(
SELECT column_name
FROM information_schema.columns
WHERE table_name = ‘ren015o003’
) t1
CROSS JOIN
information_schema.columns t2
WHERE t1.column_name = t2.column_name
GROUP BY t2.table_name
ORDER BY matching_columns DESC
LIMIT 10;
“`

## 実行結果

“`text
$ psql -U sc

MatplotlibとNumpyでゲームキャラクターの絵を描いてみた

## はじめに
初めましての人もそうでない人もこんにちは！

最近ブルーアーカイブ(以降：ブルアカ)のアニメ見ていてゲームへのモチベーションが上がっている一般人です！

いやーやっぱりストーリー本当にいいですね！
アニメ化するとゲームにはない動きやボイスがあったりしてとても感動しています！

ネタバレ?になるかもしれませんが “ブルアカ　先生　似顔絵” とGoogle等で調べると、アニメの先生とゲームの先生の顔は違う顔をしています(笑)

突然ですが、思い返すと最近の私はReactやらTypeScriptばかりでPythonが疎かになっている気がしました！

そこで、リハビリという意味も込めてmatplotlibとnumpyを使ったPythonで、ゲームのブルアカ先生の似顔絵を作ってみたいと思います!

## 準備しよう！
今回はGoogleColaboratoryを使って描いてみたいと思います！
理由としてはめんどくさい環境構築をしなくても、すぐにコードを書けるからです！

なのでGoogleアカウントがない方は作成してください！

## 作ってみよう！
Googleアカウントを作成

スクレイピングでのデータ収集を並列処理で高速化する！

# はじめに
スクレイピングを用いて、データ収集するコードを作成する機会があり
(これも別途記載できればと思います…)
そのデータ収集を、並列処理を用いて高速化することを試みました。
今回は、「スクレイピングでの認証に関する問題」と「並列処理について調べたこと」の2点をまとめていきます。
どちらの内容とも初学者ですので、誤植などあればアドバイスいただけますと幸いです。

# スクレイピングでの認証に関する問題
データ収集についてですが、
[SSLエラーに対する対応まとめ](https://jun-systems.info/articles/python-ssl-error/) を参考に修正しました。

認証エラーが発生したコード

“`python:get_data
import pandas as pd
import requests, ssl, urllib3
from retrying import retry

df = pd.read_excel(“ここは該当ファイル名を入れてみて”)

@retry(stop_max