Python3関連のことを調べてみた2022年02月17日

djangoアプリをAWSでデプロイする時にハマったこと

djangoアプリをAWSでデプロイする時にハマったことを個人用にメモ。

【参考】
https://qiita.com/Bashi50/items/d5bc47eeb9668304aaa2
https://qiita.com/Bashi50/items/db0b6b3343d51e0fc598
https://zenn.dev/ryo_t/articles/71e4ee16d76274

【メモ】
■gunicornを起動してもソケットファイルが作成されなかった。
　原因⓵：ソケットファイルを作成するフォルダに書き込み権限を付与していなかった。
　原因⓶：「gunicorn.service」に誤字があった。
　原因③：wsgyファイルがあるアプリフォルダ名とプロジェクトフォルダ名を違う名称にしていたため、wsgyファイルパスが間違っていた。
　原因④：「Procfile」ファイルを配置していた。

■Postリクエストする時に403エラーが発生する。
　原因：自分のブラウザ設定でcookieをブロックしていた。

Pythonを使ってYoutubeのプレイリストを開く

#はじめに
私は、普段から作業をするときに、Youtubeでプレイリストを流しているのだが、毎回その作業をする際に動画が気になったりなど、気が散る原因となっていました。
そこで、この作業を自動化し、自分が画面を見なくてもいいようにしたいなと考えました。

#環境
* Windows 10 Pro (21H1)
* Python 3.9.1
* Google Chrome 98.0.4758.82 (Official Build)

#ソースコード
“`python:main.py
#インポート
import webbrowser
import time

#URLを開く
webbrowser.open(‘https://www.youtube.com/watch?v=2DoRuPI2OxM&list=PLH-ORs6msKSeO54zI7Rfcr0zC50HiKcLp&index=1&t=0’)
while True:
print(‘Program executed successfully. This window will automatically close.’)
#自動

python3 【標準入力】スペース区切りを読み込み

初めまして。初の記事ですが、いきなり自分用のメモに残します。

基本的なことはプロフィールに書いてます。（笑）
まだまだ初心者なので、備忘録として使うことが多々あると思います。ご容赦ください。

最近自分で勉強していて

・標準入力で空白区切りの入力があった場合、どう受け取れば良かったっけ。

と根本的な部分で詰まってたので残します。

“`test.py

(変数1,変数2) = map(データ型,input().split())

“`

変数の部分は区切り数が分かっていれば追加可能。
データ型の部分で int,str　等　指定。

VBやJavaを仕事で使うことが多く、pythonは実務では触らない…。
ので、忘れますね。

【Atcoder】入緑したのでここまでの勉強をまとめてみた【Python】

入緑しました〜！
最近のもので描かれてる記事もないのと、久々に文字として何か書かないとまずいなと思ってつらつら書いておきます。

# 筆者のスタート地点
アルゴリズムに関する知識は皆無。（二分探索や、累積和などすら知りませんでした）
それ以外仕事では主にフロントエンドの実装を行っておりSwiftが最近はメインです。学生時代はReactNativeを使ってインターンに参加したりをしていました。
そのため、Atcoderの計算量を意識することなく、愚直に計算するA,Bぐらいは書けるレベルのスタートになります。
C++が競プロではスタンダートですが、業務との兼ね合いもあるし、これ以上学ぶ言語も増やしたくなかったのと余程のことがない限り今はPythonで書いてPypyで出せば通るので少し馴染みがあったPyt

【Windows 10 /python3.8】Generate unique Kanji and sell them as NFTs Part-2

# Objectives
After generating some unique Kanji, the last step is to sell them on OpenSea. it is pain in the neck uploading thousand of images one by one. I found automation code that uploads my images to the OpenSea. I will use that code to upload my images on the OpenSea.
**If you haven’t checked Part 1 yet, Go to here**

# Version

– python 3.8
– Pillow 8.4.0

# Create OpenSea Account and Connected to Your Walle

[FlyweightPatter]wikiのサンプルをpython3で実装

“`python:flyweight_pattern_wiki.py
“””Flyweight Pattern
https://ja.wikipedia.org/wiki/Flyweight_%E3%83%91%E3%82%BF%E3%83%BC%E3%83%B3

Desc:
等価なインスタンスを[別々の箇所]で使用する際に、
一つのインスタンスを再利用することによって、
プログラムを省リソース化することを目的とする。

(UML
FlyweightFactory <>————– Flyweight
– pool:Flyweight[]
+ getFlyweight()

(Ex
StampFactory <>————– Stamp
– pool: Stamp[]
+ get()
“””

# Flyweight
class Stamp:

def __init__(self, type: str):
self.__type = type

def print(self):
print

argparseの使い方備忘録

業務でPyTorchで実装されたモデルを度々学習させています。ただ、必要なファイルが都度少しずつ異なるという場面が多々有ります。職場の方からargparseを使うと便利だとご教示頂いたので、使ってみるととても使いやすいと感じました。しかし、いつも使い方を忘れてしまうので備忘録メモとして残しておこうと思います。

“`python:使用例
class SampleClass

def __init__(self, required_arg, optional_arg):
self.required_arg = required_arg
self.optional_arg = optional_arg

def sample_func(self):
pass

if __name__ == ‘__main__’:
import argparse
arg_parser = argparse.ArgumentParser()
arg_parser.add_argument(‘required_arg’)

Python のあまり知られていない便利な言語構文3選

あまり知られていないけれど、便利なPythonの構文3つを紹介。どれもちょっとしたことだが、汎用的で使える場面が多い言語構文。他の言語には同等の機能がないことが多いから知られていないのだと思う。
ちなみにPython3のお話、Python2にあるのかは知らん。

# for-else、while-else 文
`for`の後ろに`else`句をつけると、ループの中で`break`しなかった場合のみ実行してくれる。`while`も同様。

“`python
def for_else(id):
…
for item in items:
if item.id == id:
break
else:
item = create_item()
item.id = id

something_to_work_with(item)
…
“`

例えば上記は条件に合うアイテムをループで探して、見つかれば`break`でループを離脱、見つからなければ新しく作るというコード。他の言語だとこれをやるために別にフラグ変数を用意したりすることもあ

werkzeug.security（generated_pw_hash,checked_pw_hash)を読む

##はじめに

前々からwerkzeug.securityに興味があったので、
今回、表題の機能を調べてみることにしました。

### generated_pw_hashを見る

先ずは公式のドキュメントを見る。

[公式ドキュメントのリンク](https://werkzeug.palletsprojects.com/en/2.0.x/utils/#general-helpers)

>Security Helpers
Changelog
***werkzeug.security.generate_password_hash(password, method=’pbkdf2:sha256′, salt_length=16)***
Hash a password with the given method and salt with a string of the given length. The format of the string returned includes the method that was used so that check_password_hash() c

Python IOバウンドなスクレイピング処理をマルチスレッドやるときの初心者メモ

# 参考

[PythonによるWebスクレイピング](https://amzn.to/3e9ePL2)
[Pythonクローリング＆スクレイピング-データ収集・解析のための実践開発ガイド](https://amzn.to/2XkSVO5)
[実践 Selenium WebDriver](https://amzn.to/3ge97cE)

https://qiita.com/osorezugoing/items/cb5c27ddcd5432c9af5b

https://qiita.com/saba/items/107c4237206e31acdbef#%E7%B5%90%E8%AB%96

# はじめに
ぼくちんスクレイピング初心者
もっと良い書き方があったら教えていただきたい
30分ほどで書いたので誤字脱字ご容赦願う

# やろうとしていること

以下の処理を別スレッドでやろうとおもう

・URLのリクエスト処理
・パース処理
・DBへのインサート処理

# 意識したこと

・マルチタスク処理で最も注意しなきゃなのがデータの取り扱いなんだなあ
・複数スレッドで１つのデータにアク

Python で Wordle ソルバー作ってみた

# はじめに

みなさん。 [Wordle](https://www.nytimes.com/games/wordle/index.html) やっていますでしょうか。

知らない人のために一応説明しておくと、Wordleとは

“`text
Guess the WORDLE in six tries.
Each guess must be a valid five-letter word. Hit the enter button to submit.
After each guess, the color of the tiles will change to show how close your guess was to the word.
“`

というゲームです。（公式引用）
要は、単語当てゲームで、いかに効率的にお題を特定するかが肝となっています。
とりあえず一度やってみればルールは理解できると思うので、やってみましょう。

そして先日、[こんな動画](https://www.youtube.com/watch?v=v68zYyaEmEA)を知り合いから教わり見てみた

corepack prepare npm@latest–activateができないのでpython3でスクリプト書いて対処。

## 動機

Nodejs 16.9.0以上で標準搭載されたらしいcorepackでpnpm、yarn、npmを実行していたのですが、corepackのパッケージマネージャーを指定するコマンドで最新バージョンを簡単に指定できないようなので簡易的にPython3でスクリプトを書きました。

– なお、この件につきましたはこのようなissueが上がっています。 –latestオプションの検討

https://github.com/nodejs/corepack/issues/72

近いうちにlatestオプションが追加されるかもしれません。それまでのつなぎとして…

「なんでjsじゃないんだ…?Nodejsなのだからjsで書こうよ…（´・ω・｀）」という声が聞こえてきそうですが、遺憾ながらこのスクリプトは私のdotfilesを構築している時に書いた別目的の既存コードを改変した副産物なのでご了承ください…

jsで書くには「引数処理を標準モジュールでできるか？」が不明のためちょっとやる気がでない現状です。

## ちょっとした解説

やってることはただnpm search `<マネー

LinuxとPython3でsubprocess.Popenを使って”OSError: [Errno 12] Cannot allocate memory”が出たとき

# 原因
* 単純にメモリーが足りない
* subprocess.Popenを実行するプロセスのメモリが元々多い

# メモリが元々多い？？とは？

subprocess.Popenを実行するプロセスのメモリが元々多いとは？
subprocess.Popenはシステムコールのsys_cloneが使われていて、メモリがコピーされて使用量もコピーされるようです・・・
そんなの知らないよ・・・:sob:
tensorflowで大き目のモデルを読み込んだプロセスとかだと大き目になりがち。
その状態でsubprocess.Popenを使って非同期実行するとメモリがコピーされるのか？メモリ空間がコピーされるのかよくわからないがsubprocess.Popenコール時点の容量が消費されるみたいです。

単純にメモリーが足りないパターンの場合はどうしようもない。:frowning2:

# 対策

キュー化するとか??大げさになっちゃうなぁ～～:thermometer_face:。今回は、REST APIを作って小さいプロセスからsubprocess.Popenで非同期実行してみた。

Github ActionsでPostgreSQLを使ったテストをする

# 背景

PythonからPostgreSQLにアクセスする処理のテストをpytestで記述した。これをGithub ActionsのCIに組み込みたい。

# 環境

– Python 3.8

ディレクトリ構成は以下。

“`
my-repository
├── app
│   ├── my_module.py
│   └── tests
│   └── test_my_module.py
└── .github
└── workflows
   └── psql-ci.yml
“`

# 実装

早速だが実装例。

## テストコード

[pytest](https://docs.pytest.org/en/7.0.x/)を使った以下のようなテストがあることを想定する。

pytestの詳細な説明は他に譲るとしてざっくりと何をやっているかを書いておく。

– `setup_and_teardown_psql`
– `yield`より前: データの準備。テーブルの作成と`data/init_data.csv`ファイルに記述された初期データのins

PIPインストールでよくあるエラーと対策

PIPインストールでよくあるエラーと対策をまとめてみた。

#インターネット接続が制限されている（社内ネットワークなど）
▶ 下記のようにプロキシサーバーを通過できるようにする
※プロキシサーバーのURLが「http://proxy.会社名.co.jp」、ポート番号が 「8080」 の場合

“`
C:¥Users¥username> set HTTPS_PROXY=http://proxy.会社名.co.jp:8080
C:¥Users¥username> py -m pip install ライブラリ名
“`

もしくは

“`
C:¥Users¥username> set HTTPS_PROXY=http://ユーザ名:パスワード@proxy.会社名.co.jp:8080
C:¥Users¥username> py -m pip install ライブラリ名
“`

#ファイル書込みの権限がない
▶　管理者権限でコマンドプロンプトを起動
「コマンドプロンプト」を右クリックして「管理者として実行」
▶　「–user」オプションをつけて、pip installを実行（use

PyMC3を用いた混合ガウスモデルのパラメータ推定

# はじめに

この記事は、note 「[パソコンが3時間掛けてノイズを作った](https://note.com/quark_gabber/n/nb9212a3f7af6)」の詳細を解説した記事です。
ざっくりな形です。細かく書くとただ既存の本の内容を書き写すだけになるので、もっと細かくな方は[参考](#参考)をご覧いただければと思います。

# 動作環境

– WSL2 (Ubuntu 20.04)
– Python3.7.12
– ライブラリについては[Docker Hubにて共有しているイメージ](https://hub.docker.com/r/quark925/pymc3_on_jupyter)の環境で行っています。

# MCMC(マルコフ連鎖モンテカルロ法)
– モンテカルロ法は乱数を用いた手法の総称
– 乱数の発生にマルコフ連鎖を用いる

これが**MCMC**

## マルコフ連鎖

取りうる状態の全てを$S$、時点を$t = 1,2,…$とし、過去に起こった状態の履歴が与えられた下での条件付確率として表現すると、$t$において状態が$i(i \in

Python マルチな処理で悩んだときにみる スレッド？プロセス？

# 結論

CPUリソースを最大限に使って君のために命かけるん！

→**マルチプロセス**

大雑把に書けて楽。リソース管理も不要。アプリケーションにマルチコアマシンの計算能力をより良く利用させたい場合は絶対にマルチプロセス。

—-

CPUリソースを食われるのだけは嫌！だって、そんなに大事なことじゃないだもん！だけど、マルチな処理がさせたいん！

→**マルチスレッド**

リソース管理が面倒。I/Oバウンドなタスクを並行して複数走らせたい場合においては、 マルチスレッドはベストな選択。

# Python

JavaやCなどの一部の言語は、タスクを複数のCPUに同時に自動的に送信します。

しかし、Pythonでは、

**各プロセスはシングルコアで実行されるため、同じプロセスの複数のスレッドが同じコアで実行される**

`これPythonでマルチな処理を行う上で最も重要なので覚える`

# プログラムの粒度

タスク <= プロセス < マルチスレッド < マルチプロセス の順で大きくなる # プロセス 例) ブラウザ、ワード、VSCodeなどのプログ

バッチファイルと同じ場所のPythonスクリプトファイルを呼び出す

# バッチファイルと同じ場所のPythonスクリプトファイルを呼び出す
Pythonスクリプトファイルの関連付けがPython以外でファイルをドロップできない場合など、バッチファイルからスクリプトを呼び出したいことがあります。このときはバッチファイルのスクリプトファイル名の前に`%~dp0`を付けます。

“`batch:test.bat（test.pyを呼び出す）
python.exe %~dp0test.py %*
“`

`%~dp0`はバッチファイルの親ディレクトリのパス+「\」を指すバッチパラメーターです。省略した場合、ドラッグ＆ドロップによりカレントディレクトリの場所が変わり、ファイルが見つからない、間違ったファイルを呼び出すといった想定外の動作につながります。

# 蛇足：ストアアプリ版PowerShell 7による関連付け消失時

PowerShell 7をインストーラー版からストアアプリ版に切り替えた場合、ps1ファイルの関連付けが消えることがあります。この場合はインストーラー版PowerShell 7に戻すことで関連付けとドラッグ＆ドロップが復活します。ストアア

Python3 csv.DictReaderをforするときは一度辞書で受ける

# `csv.DictReader`を`for`するときは一度辞書で受ける

`csv.DictReader`をそのまま`for`すると見出しだけ列挙されます。これは一度辞書として受けることで解決できます。原因は`csv.DictReader`の`iter`結果が`dict`であること、`dict`の`for`がキーを返すことです。`csv.DictReader`ではキーが見出しに対応します。アンパックしたくなりますが、`dict`の場合は遠回りが近道です。

“`py:dictのキーだけ列挙されるコード
dd = ({“A”:1, “B”:2, “C”:3},
{“A”:4, “B”:5, “C”:6})
for a, b, c in dd:
print((a, b, c))
#(‘A’, ‘B’, ‘C’)
#(‘A’, ‘B’, ‘C’)
“`

“`py:dictを取得できるコード
dd = ({“A”:1, “B”:2, “C”:3},
{“A”:4, “B”:5, “C”:6})
for d in dd:
print(d)
#{

Python3 CSVをタプルやリストに読み込む

# CSVをタプルやリストに読み込む

CSVをタプルやリストに読み込むには`csv.DictReader`クラスを作成して`tuple()`、`list()`に渡します。空のリストと`for`は不要です。

“`py
tuple(csv.DictReader(…)) # タプルへ変換
list(csv.DictReader(…)) # リストへ変換
“`

文字列から作成したCSVをタプルへ変換する具体例は次の通りです。

“`py:CSV文字列➞タプル変換
import csv
from pprint import pp

csv_raw = “A, B, C\n1,2,3\n4,5,6\n7,8,9”.split(“\n”)
csv_rows = tuple(csv.DictReader(csv_raw))

pp(csv_rows)
#({‘A’: ‘1’, ‘ B’: ‘2’, ‘ C’: ‘3’},
# {‘A’: ‘4’, ‘ B’: ‘5’, ‘ C’: ‘6’},
# {‘A’: ‘7’, ‘ B’: ‘8’, ‘ C’: ‘9’})
“`

::