Python3関連のことを調べてみた2022年02月28日

pipの厳格な依存関係チェックにハマってしまった時の解決方法備忘録メモ

# 事の起こり

Tensor Flowのアップグレードを実行した時に以下のエラーが発生しました。

>ERROR: pip’s dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts.
numba 0.55.1 requires numpy<1.22,>=1.18, but you have numpy 1.22.2 which is incompatible.

詳細な実行ログ

“`bash
$ pip install -U tensorflow
Requirement already satisfied: tensorflow in /opt/conda/lib/python3.9/site-packages (2.6.2)
Collecting t

Django パスワード試行回数ロックとランダムかつ有効期限付きURLでの本人確認による解除

## 環境
Windows 11 Home
Python 3.10.2
Django 4.0.2
venv利用あり
(PyPI)
django-axes==5.31.0
条件：関連記事 第1回が完了していること

## 関連記事
Django 第1回：[Django Custom User Model の作成](https://qiita.com/startours777/items/706d38e712b0c737a16a)
Django 第2回：[Django 初回ログイン時にパスワード変更を強制する](https://qiita.com/startours777/items/28db625a9bb81a36d4ad)
Django 第3回：[Django 一定期間パスワードを変更していないユーザにパスワード変更を強制する](https://qiita.com/startours777/items/d550ca9b67cea4408a44)
Django 第4回：[Django ランダムかつ有効期限のあるURLを生成し、上位者に承認してもらいアカウントを発行する](https://

タイムアウトがある場合にチェックすること。随時更新。

学習サイトなどでのスキルチェック時に、アウトプットの正解率だけではなくて、処理時間まで見られている。
そのためタイムアウトになった際にどのような点を見直すべきか、どのようなアクションを取るべきかを箇条書きで記載していく。

・条件分岐で無駄な条件が入っていないか。(特に配列を含む条件の場合)
・配列と辞書でのデータの持ち方。
・ロジック自体を見直す。
・in演算子を多発していないか。(特にlistでのin演算子)

Python スレッドのフラグ管理をEnumとStateパターンでおこなう

# はじめに
今までスレッドの状態管理をBool値を使っていたし状態遷移を直接代入方式でやっていた。今回、開発中のアプリのコード数が増えてきたこともあり、また、ワンランク上のコーディングをしたいという欲もでてきたので挑戦してみた。

# 以前のコード

“`python
class MainThread():
def __init__(self) -> None:
self.is_running_thread1 = True
self.is_running_thread2 = True
self.is_running_thread3 = True

def task1(self):
# スレッド1の状態がRUNか否か
if self.is_running_thread1:
print(‘thread1 is running.’)
time.sleep(1)
# スレッド1シャットダウン
self.is_running_

入茶、入緑記事(2022年2月27日)

# はじめに
ABC241にて入緑させていただきました。今まで多くの人の勉強法の記事に助けられて今の自分があると思うので、今度は自分が恩返しする番だと思い記事を投稿させていただきます。初投稿にて、見苦しい点もあるかと思いますが、ご容赦ください_(;ω;`」_)

# 自己紹介
2019年3月に国公立大学医学部卒業
2022年2月現在　医師として3年目
数学や物理などの自然科学分野は相当得意な学生時代だったと思います。センター試験も全教科合計94%程度だったので、世間の中ではいわゆる頭の良い方だったのだと思います。
#### プログラミングの知識は…
全くのゼロでした。そもそも、どんな言語が存在するのかすら知らない状態が2021年9月の段階です。今回は、そこから5ヶ月で入緑した過程などをお話でき

PythonのParamiko経由でレガシーなサーバーにSSH接続できなかったけど解決した話

PythonのParamikoを使って、以下のようなコードで接続しようと試みたところ。。。

“`:Python
import os
import paramiko

config_file = os.path.join(os.getenv(‘HOME’), ‘.ssh/config’)
ssh_config = paramiko.SSHConfig()
ssh_config.parse(open(config_file, ‘r’))
config_file = ssh_config.lookup(‘レガシーなバージョンの接続先サーバー’)

ssh_client = paramiko.SSHClient()
ssh_client.load_system_host_keys()
ssh_client.set_missing_host_key_policy(paramiko.AutoAddPolicy())
ssh_client.connect(
hostname=config_file[‘hostname’],
username=config_file[‘user’]

【備忘録】Beautiful Soup 4の.stringの挙動を正しく理解していなかった話

# 要約

`.string`は挙動をしっかり把握して使わなくてはいけない。

子タグを残して文字列を取得したいときはBeautiful Soup 4を利用せずに`re.sub()`などを用いることを検討するべきかもしれない。

## 2022年2月27日追記

コメントで情報をいただきました`.contents`を利用すれば子タグを残して文字列が取得できるそうです。

公式ドキュメント（日本語訳版）へのリンク⇒http://kondou.com/BS4/#contents-children

# 環境

* python : 3.10.1
* BeautifulSoup4 : 4.10.0
* Windows11

# 経緯

https://github.com/msattova/trpgLOG2md

先日、[こちらの記事](https://qiita.com/msattova/items/8120b23f2470667af359)で宣伝したこのプログラムに「`
`を含む``タグの内側の文字列がなぜかちゃんと出力されない」問題が見つかりました。

問題のコ

特定文字列を含む行のみを抽出しdf化/グラフ化

実験で得られるログデータについて、必要箇所のみを抽出し、グラフ化するまでを備忘録としてまとめる。

“`
import pandas as pd
import japanize_matplotlib #日本語文字化け回避

path = ‘log.txt’

#テキストファイルの中身をリストとして取得
#ファイルを開き、readlines()で各行を要素とするリストを取得する
with open(path) as f:
lines = f.readlines()
#readlines()で取得できるリストは行末の改行文字\nを含んでいる。除去したい場合はリスト内包表記で各要素（各行）にstrip()メソッドを適用する。
lines_strip = [line.strip() for line in lines]
print(lines_strip)
#各行がリスト形式で表示される

#各行を要素とするリストからリスト内包表記で条件を満たす行のみを抽出
#今回はTempを含む行を抽出
Temp = [line for line in lines_strip if ‘Temp’

備忘録 wslからusbカメラにアクセス

## 環境構築
### wslカーネルのビルド
– 下記の通り
– [https://github.com/PINTO0309/wsl2_linux_kernel_usbcam_enable_conf#2-usage](https://github.com/PINTO0309/wsl2_linux_kernel_usbcam_enable_conf#2-usage)

## 実行（Powershell ⇒ wsl）

### PowerShell(管理者)

– 下記のコマンドで使用したいカメラの番号を取得（例：1-4）
“`bash
$ usbipd wsl list
“`
– 有効化
“`bash
$ usbipd wsl attach –busid 1-4
“`
– 無効化
“`bash
$ usbipd wsl detach –busid 1-4
“`
### wsl

– usbカメラのデバイスファイルのパーミッションを変更
“`bash
$ sudo chmod 777 /dev/video*
“`
– `fswebcam`による動作確認
“`b

[python] kd木を使った最近傍探索

# 説明
k-最近傍法（k-NN）アルゴリズムの勉強をしている時に、最近傍点を探すのにすべての点に対して計算していく（線形探索と呼ばれる）ととても効率が悪いということを聞いた。
効率よく探索する方法の一つにkd木というデータ構造をつかうものがあるらしいので、それを自分で実装してみた。
そして実際どの程度はやいのか、線形探索とkd木、そしてsklearnのNearestNeighborsを比較した。

参考：Kd-treeと最近傍探索 https://hope.c.fun.ac.jp/mod/resource/view.php?id=15284

# 実行環境
* Intel(R) Core(TM) i7-8700 6コア12スレッド
* メモリ16GB
* windows10 64bit
* 仮想8コア、物理4コア
* Python 3.8.11
* ANACONDA
* JupyterLab 3.1.7

# コード

## モジュール

“`python:modules
import numpy as np
import matplotlib.pyplot as plt
impo

Python ログの重複が出たときに確認すること

モジュールが増えてくるとロガーも必要に応じて追加しますよね。そのに落とし穴があって、ルートロガー以外にハンドラーを設定するとログの重複が発生するのです。

“`
{
‘root’: {
‘level’: ‘DEBUG’,
‘handlers’: [‘console’, ‘file’],
‘propagate’: True
},
‘mod1’: {
‘level’: ‘DEBUG’,
‘handlers’: [‘console’, ‘file’],
},
‘mod2’: {
‘level’: ‘DEBUG’,
‘handlers’: [‘console’, ‘file’],
},
}
“`

こんな感じにやると、ログの重複が起こります。

ドキュメントの一番上にこのような注釈があります。

>注釈 ハンドラを、あるロガー と その祖先のロガーに接続した場合、同一レコードが複数回発行される場合があります。一般的に、ハンドラを複数

リストであそぼう

# リストの諸々

## リストに突っ込む

“`Python
a = “123abc”
l = list(a)
l
“`
“`
[‘1’, ‘2’, ‘3’, ‘a’, ‘b’, ‘c’]
“`

## リストから文字列へ
“`Python
print(“”.join(l))
“`
“`
123abc
“`

## 一部を取り出す
### スライス
“`Python
l[1:3]
“`
“`
[‘2’, ‘3’]
“`
### 条件を付ける
“`Python
[x for x in l if x == “2”]
“`
“`
[‘2’]
“`

## リストに要素を追加

### 一番後ろに追加　list.append()
“`Python
l.append(“d”)
print(l)
“`
“`
[‘1’, ‘2’, ‘3’, ‘a’, ‘b’, ‘c’, ‘d’]
“`

### 指定したインデックスに追加　list.insert(index, 追加したい要素)
“`Python
l.insert(3, 4)
print(l)
“`
“

Python pytestでcaplogがログをキャッチできないとき

# 結論

:::note info
loggersのconfigでpropagateを**True**にする
:::

“`python:dictConfigの例
{
‘loggers’: {
‘logger_name’: {
‘level’: ‘DEBUG’,
‘handlers’: [],
‘propagate’: True # ここです
}
}
}
“`

# 参考

https://docs.python.org/ja/3/library/logging.config.html#module-logging.config

> loggers – 対応する値は辞書で、そのそれぞれのキーがロガー名になり、それぞれの値が対応する Logger インスタンスをどのように環境設定するかを記述する辞書になります。
>環境設定辞書は、以下のキーを検索されます:
> propagate (任意)。ロガーの伝播の設定です。

Python リストやタプルを複数の範囲で指定したい！

# はじめに
テストでassertでexpectedとresultを比較するときに、resultに動的な値があるためテストしづらかったので、静的な値のみを取り出すために考えた

(静,静,静,静,静,静,静,静,静)
(静,静,静,静,動,静,静,静,静,静)

“`python
import itertools
import copy

# 5番目以外の要素がほしい
ls = [0,1,2,3,4,5,6,7,8,9,10]

genr = itertools.chain(range(0,5),range(6,11))

# ジェネレータの中身
print(list(copy.deepcopy(genr)))

# 取得結果
print([ls[i] for i in itr])
“`
“`
[0, 1, 2, 3, 4, 6, 7, 8, 9, 10]
[0, 1, 2, 3, 4, 6, 7, 8, 9, 10]
“`

# 感想

うわっ、静、連続して書いたら気持ち悪くなった
静って字、こんなに難しい字だった？

【Python】DockerでOpenCVをインストールする時の設定

# はじまり

DockerでPython用のコンテナをビルドする時に
OpenCVも一緒にインストールしたら躓いたので、備忘録。

# 最初に躓いたイメージ

まず、このイメージでビルドししてopencvを利用しているプログラムを実行しました。

“`Dockerfile
FROM ubuntu:latest

ENV PYTHON_VERSION 3.7.1
ENV HOME /root
ENV PYTHON_ROOT $HOME/local/python-$PYTHON_VERSION
ENV PATH $PYTHON_ROOT/bin:$PATH
ENV PYENV_ROOT $HOME/.pyenv

RUN apt update

RUN apt install -y python3 python3-pip
RUN pip install –upgrade pip

WORKDIR /usr/src/app
COPY ./ /usr/src/app

RUN pip install opencv-python
“`

そうしたら、こんなエラーが出現。

“`shel

Python itertoolsつかって多次元リストを１次元リストにしてリスト内包表記でforループさせたらリストが消えた！？

itertoolsでchainして生成されるのはリストではなくて、**itertools.chainクラス**。こいつは**ジェネレータ**だから、forで最後までループさせると空になるまでnext()しちゃうって訳さ！

以下で動作確認をしてみるね！

“`python
import copy
import itertools

ls = [[1,2,3],[4,5,6]]

genr = itertools.chain.from_iterable(ls)

print(type(genr))

# 1が取り出される
print(next(genr))
# 2が取り出される
print(next(genr))

# この時点の要素
print(list(copy.deepcopy(genr)))
# ここでコピーせず、そのままprintすると
# 全要素がnext()されてしまうので注意
# print(list(copy.deepcopy(genr)))
# genr = [] になってしまう

# 奇数を取り出す例
pick_out_odd =[n for n in genr

python,OpenCVでハムスター(キンクマ)と床材を見分けたい

# はじめに
キンクマハムスターと床材の色が似すぎているのでなんとかして切り分けたいと思います。

# 環境
windows10
python3.9.4
opencv-python 4.5.5.62
numpy 1.20.2

# HSVで色抽出してみる

とりあえず我が家のハムスターを適当に画像処理します。
ここではOpenCVを使いました。

## 詳細
### インポート
“`python
import numpy as np
import cv2

`

ARC034 B問題を解説する。 (PythonのACコードあり)

#ARC034 B問題 方程式
##問題
たとえば、$f(5391)=5+3+9+1=18$ のように、各桁の和を関数$f(x)$で定義する。
$1\leq N\leq 10^{18}$を満たす$N$が与えられるので、$x+f(x)=N$となる$x$を求めてください、という問題。

https://atcoder.jp/contests/arc034/tasks/arc034_2

##考察その1　xの上限は？

たとえば、$N=100$のとき、$x$は$100$以上の値をとりません。$100+f(100)>100$だからです。
どのような$N$が与えられても、$x

ロジックサマナー ランクC「圧縮」(Python3) を解いた

# はじめに

**[ロジックサマナー](https://paiza.jp/logic_summoner/)というプログラミング学習サイトの問題の一つです。**

解けるやろって適当に思ってたら、全然正答できなくて悩んでました。数日経っても、意地張って解こうとしましたが、解けなかったです。
そこで答えを探したんですが、欲しいコードがなかった。
なので、私が正答したソースコードをここに載せます。

# 問題の概要

[問題はここにあります](https://paiza.jp/logic_summoner/challenges/logics_type_2001)

#### 制約はこちら
> 入力される値
> S

> 条件
> ・1 ≦ ( S の長さ) ≦ 100
> ・S には “w”(白) か “b”(黒) の文字しか含まれない

#### 入出力例
“`
入力: “bbbwwwww”
出力: 3 5

入力: “wwwwwbbb”
出力: 0 5 3
“`
このように、w(白)から始まった場合は、0 を入れなきゃいけない。

# 正答したソースコード

実装

distutils の廃止予定（Python 3.12）

こんにちは。
Python 3.12 では “`distutils“` が廃止される予定とのことです。“`pip install“` すると現在警告が表示されます（homebrew/linuxbrew による Python 利用の場合。下記例）。

参考情報として（Homebrew/homebrew-core (GitHub)内）

* “[Python is deprecating distutils.cfg #76621](https://github.com/Homebrew/homebrew-core/issues/76621)”
* “[pybind11 2.9.1 #94696](https://github.com/Homebrew/homebrew-core/pull/94696)”

“`console
$ brew install python3
$ brew info python3 | head -n1
python@3.9: stable 3.9.10 (bottled)
$ python3 -m pip install …
DEPRECATIO