- 1. [python] kd木を使った最近傍探索
- 2. Python ログの重複が出たときに確認すること
- 3. リストであそぼう
- 4. Python pytestでcaplogがログをキャッチできないとき
- 5. Python リストやタプルを複数の範囲で指定したい!
- 6. 【Python】DockerでOpenCVをインストールする時の設定
- 7. Python itertoolsつかって多次元リストを1次元リストにしてリスト内包表記でforループさせたらリストが消えた!?
- 8. python,OpenCVでハムスター(キンクマ)と床材を見分けたい
- 9. ARC034 B問題を解説する。 (PythonのACコードあり)
- 10. ロジックサマナー ランクC「圧縮」(Python3) を解いた
- 11. distutils の廃止予定(Python 3.12)
- 12. 計算結果分析のためのPython(身内向け)
- 13. これであなたもDockerプロフェッショナル ~Dockerを使用してNginx経由でDjangoを動かしてみようの巻~
- 14. 【備忘録】バイオインフォマティクス環境設定
- 15. Python マルチスレッドで完全にデッドロックなしでSQLite3を使うためのメモ
- 16. Pythonで複数入力(無限入力)を実行する方法
- 17. PythonでDependency Injectionを実装する
- 18. Pythonでソート
- 19. 【streamlit】streamlit helloを実行してブラウザで動かす方法
- 20. 個人的メモ
[python] kd木を使った最近傍探索
# 説明
k-最近傍法(k-NN)アルゴリズムの勉強をしている時に、最近傍点を探すのにすべての点に対して計算していく(線形探索と呼ばれる)ととても効率が悪いということを聞いた。
効率よく探索する方法の一つにkd木というデータ構造をつかうものがあるらしいので、それを自分で実装してみた。
そして実際どの程度はやいのか、線形探索とkd木、そしてsklearnのNearestNeighborsを比較した。参考:Kd-treeと最近傍探索 https://hope.c.fun.ac.jp/mod/resource/view.php?id=15284
# 実行環境
* Intel(R) Core(TM) i7-8700 6コア12スレッド
* メモリ16GB
* windows10 64bit
* 仮想8コア、物理4コア
* Python 3.8.11
* ANACONDA
* JupyterLab 3.1.7# コード
## モジュール
“`python:modules
import numpy as np
import matplotlib.pyplot as plt
impo
Python ログの重複が出たときに確認すること
モジュールが増えてくるとロガーも必要に応じて追加しますよね。そのに落とし穴があって、ルートロガー以外にハンドラーを設定するとログの重複が発生するのです。
“`
{
‘root’: {
‘level’: ‘DEBUG’,
‘handlers’: [‘console’, ‘file’],
‘propagate’: True
},
‘mod1’: {
‘level’: ‘DEBUG’,
‘handlers’: [‘console’, ‘file’],
},
‘mod2’: {
‘level’: ‘DEBUG’,
‘handlers’: [‘console’, ‘file’],
},
}
“`こんな感じにやると、ログの重複が起こります。
ドキュメントの一番上にこのような注釈があります。
>注釈 ハンドラを、あるロガー と その祖先のロガーに接続した場合、同一レコードが複数回発行される場合があります。一般的に、ハンドラを複数
リストであそぼう
# リストの諸々
## リストに突っ込む
“`Python
a = “123abc”
l = list(a)
l
“`
“`
[‘1’, ‘2’, ‘3’, ‘a’, ‘b’, ‘c’]
“`## リストから文字列へ
“`Python
print(“”.join(l))
“`
“`
123abc
“`## 一部を取り出す
### スライス
“`Python
l[1:3]
“`
“`
[‘2’, ‘3’]
“`
### 条件を付ける
“`Python
[x for x in l if x == “2”]
“`
“`
[‘2’]
“`## リストに要素を追加
### list.append(追加したい要素)
“`Python
l.append(“d”)
print(l)
“`
“`
[‘1’, ‘2’, ‘3’, ‘a’, ‘b’, ‘c’, ‘d’]
“`### list.insert(index, 追加したい要素)
“`Python
l.insert(3, 4)
print(l)
“`
“`
[‘1’, ‘2’, ‘3’
Python pytestでcaplogがログをキャッチできないとき
# 結論
:::note info
loggersのconfigでpropagateを**True**にする
:::“`python:dictConfigの例
{
‘loggers’: {
‘logger_name’: {
‘level’: ‘DEBUG’,
‘handlers’: [],
‘propagate’: True # ここです
}
}
}
“`# 参考
https://docs.python.org/ja/3/library/logging.config.html#module-logging.config
> loggers – 対応する値は辞書で、そのそれぞれのキーがロガー名になり、それぞれの値が対応する Logger インスタンスをどのように環境設定するかを記述する辞書になります。
>環境設定辞書は、以下のキーを検索されます:
> propagate (任意)。ロガーの伝播の設定です。
Python リストやタプルを複数の範囲で指定したい!
# はじめに
テストでassertでexpectedとresultを比較するときに、resultに動的な値があるためテストしづらかったので、静的な値のみを取り出すために考えた(静,静,静,静,静,静,静,静,静)
(静,静,静,静,動,静,静,静,静,静)“`python
import itertools
import copy# 5番目以外の要素がほしい
ls = [0,1,2,3,4,5,6,7,8,9,10]genr = itertools.chain(range(0,5),range(6,11))
# ジェネレータの中身
print(list(copy.deepcopy(genr)))# 取得結果
print([ls[i] for i in itr])
“`
“`
[0, 1, 2, 3, 4, 6, 7, 8, 9, 10]
[0, 1, 2, 3, 4, 6, 7, 8, 9, 10]
“`# 感想
うわっ、静、連続して書いたら気持ち悪くなった
静って字、こんなに難しい字だった?
【Python】DockerでOpenCVをインストールする時の設定
# はじまり
DockerでPython用のコンテナをビルドする時に
OpenCVも一緒にインストールしたら躓いたので、備忘録。# 最初に躓いたイメージ
まず、このイメージでビルドししてopencvを利用しているプログラムを実行しました。
“`Dockerfile
FROM ubuntu:latestENV PYTHON_VERSION 3.7.1
ENV HOME /root
ENV PYTHON_ROOT $HOME/local/python-$PYTHON_VERSION
ENV PATH $PYTHON_ROOT/bin:$PATH
ENV PYENV_ROOT $HOME/.pyenvRUN apt update
RUN apt install -y python3 python3-pip
RUN pip install –upgrade pipWORKDIR /usr/src/app
COPY ./ /usr/src/appRUN pip install opencv-python
“`そうしたら、こんなエラーが出現。
“`shel
Python itertoolsつかって多次元リストを1次元リストにしてリスト内包表記でforループさせたらリストが消えた!?
itertoolsでchainして生成されるのはリストではなくて、**itertools.chainクラス**。こいつは**ジェネレータ**だから、forで最後までループさせると空になるまでnext()しちゃうって訳さ!
以下で動作確認をしてみるね!
“`python
import copy
import itertoolsls = [[1,2,3],[4,5,6]]
genr = itertools.chain.from_iterable(ls)
print(type(genr))
# 1が取り出される
print(next(genr))
# 2が取り出される
print(next(genr))# この時点の要素
print(list(copy.deepcopy(genr)))
# ここでコピーせず、そのままprintすると
# 全要素がnext()されてしまうので注意
# print(list(copy.deepcopy(genr)))
# genr = [] になってしまう# 奇数を取り出す例
pick_out_odd =[n for n in genr
python,OpenCVでハムスター(キンクマ)と床材を見分けたい
# はじめに
キンクマハムスターと床材の色が似すぎているのでなんとかして切り分けたいと思います。# 環境
windows10
python3.9.4
opencv-python 4.5.5.62
numpy 1.20.2# HSVで色抽出してみる
とりあえず我が家のハムスターを適当に画像処理します。
ここではOpenCVを使いました。## 詳細
### インポート
“`python
import numpy as np
import cv2`
ARC034 B問題を解説する。 (PythonのACコードあり)
#ARC034 B問題 方程式
##問題
たとえば、$f(5391)=5+3+9+1=18$ のように、各桁の和を関数$f(x)$で定義する。
$1\leq N\leq 10^{18}$を満たす$N$が与えられるので、$x+f(x)=N$となる$x$を求めてください、という問題。https://atcoder.jp/contests/arc034/tasks/arc034_2
##考察その1 xの上限は?
たとえば、$N=100$のとき、$x$は$100$以上の値をとりません。$100+f(100)>100$だからです。
どのような$N$が与えられても、$x
ロジックサマナー ランクC「圧縮」(Python3) を解いた
# はじめに
**[ロジックサマナー](https://paiza.jp/logic_summoner/)というプログラミング学習サイトの問題の一つです。**
解けるやろって適当に思ってたら、全然正答できなくて悩んでました。数日経っても、意地張って解こうとしましたが、解けなかったです。
そこで答えを探したんですが、欲しいコードがなかった。
なので、私が正答したソースコードをここに載せます。# 問題の概要
[問題はここにあります](https://paiza.jp/logic_summoner/challenges/logics_type_2001)
#### 制約はこちら
> 入力される値
> S> 条件
> ・1 ≦ ( S の長さ) ≦ 100
> ・S には “w”(白) か “b”(黒) の文字しか含まれない#### 入出力例
“`
入力: “bbbwwwww”
出力: 3 5入力: “wwwwwbbb”
出力: 0 5 3
“`
このように、w(白)から始まった場合は、0 を入れなきゃいけない。# 正答したソースコード
実装
distutils の廃止予定(Python 3.12)
こんにちは。
Python 3.12 では “`distutils“` が廃止される予定とのことです。“`pip install“` すると現在警告が表示されます(homebrew/linuxbrew による Python 利用の場合。下記例)。参考情報として(Homebrew/homebrew-core (GitHub)内)
* “[Python is deprecating distutils.cfg #76621](https://github.com/Homebrew/homebrew-core/issues/76621)”
* “[pybind11 2.9.1 #94696](https://github.com/Homebrew/homebrew-core/pull/94696)”“`console
$ brew install python3
$ brew info python3 | head -n1
python@3.9: stable 3.9.10 (bottled)
$ python3 -m pip install …
DEPRECATIO
計算結果分析のためのPython(身内向け)
本記事内では、計算機シミュレーションで出力された座標ファイルから分析を行う際に必要となる、
あるいは知っておくと便利なPythonの機能やモジュールを紹介する。
Pythonの基本的な文法については説明を省いている。また、本記事はあくまで身内向けの内容であり、あまり丁寧なつくりではない。
# 分析を行うサンプルファイル
サンプルとして、本記事内では以下のファイルに対して分析を行うことにする。
練習用ディレクトリにコピーしておいて欲しい。“` sample.gro
Methane
15
1MET C 1 2.127 1.952 3.113 0.000 0.000 0.000
1MET H 2 2.235 1.963 3.128 0.000 0.000 0.000
1MET H 3 2.092 1.856 3.139 0.000 0.000 0.000
1MET H 4 2.071 2.025
これであなたもDockerプロフェッショナル ~Dockerを使用してNginx経由でDjangoを動かしてみようの巻~
#自己紹介
普段私は、
一番得意な機械学習(深層学習)をしたり、
Python/Django でWebアプリを開発したり、
TypeScript/Vue or React でフロントエンドの開発をしたり、
PHP/Laravel でWebアプリを開発したり、
さまざまなことを行っています。趣味で休みの日にGo言語で色々作成しているのですが、型のある世界は素敵だなと昨今感じています。
今最もやりたいことは、Goで大規模なWebアプリケーションを作成したい。企業案件やご連絡等ございましたらお気軽に下記よりご連絡いただければと思います。
nagamatsu-k@dym.jp# 今回やりたいこと
Dockerで構築したコンテナ上で、Nginx経由でDjangoのプロジェクトが見れるようにしたい。下記コマンドでダウンロードしてください
(注意).envの設定があるので、クローン後に下記の.env2箇所を指示通り変更してください。
[私のGitHub](https://github.com/kouhei-github/Docker-Django-Nginx-Gunicorn)`
【備忘録】バイオインフォマティクス環境設定
# 【備忘録】バイオインフォマティクス環境設定(macOS Monterey 12.2.1)
「バイオインフォマティクス 〜Pythonによる実践レシピ〜」を購入して、環境構築したときのメモです。
大まかな流れは、以下の通り。
– Xcodeインストール(GUI)
– wgetインストール(コマンドライン)
– Anacondaインストール(GUI)
– condaによるインストール(コマンドライン)## condaによるインストール
Xcode、 wget、 Anaconda のインストールは省略して、condaのところだけ詳細に記載します。
######まずは、conda自身の確認。
>$conda install conda -y######チャネル(リポジトリ)の追加。
>$conda config –add channels bioconda
>$conda config –add channels conda-forge######環境構築。(biopythonは最新にして、pythonは3.8に設定)
>$conda create -n bio
Python マルチスレッドで完全にデッドロックなしでSQLite3を使うためのメモ
# はじめに
トランザクションやらコミットのこと無知な状態でマルチスレッドでsqliteやろうとしたらデッドロックしたのでメモ
# threading.Event()でトランザクション前にスレッドを待機させる
“`python
import threading
import random
import time# event3の中でevent1→event2の順でイベントが実行される
# event1はランダム秒後に開始する、event3の終了を待つ,終了したらevent3_endをclear
# event2はevent1が開始するまで待機状態
# event3はevent1が開始したらevent1をclearにしevent2を待つ
# event3でevent2が開始したらevent2をclearにしevent3の終了を告げる
# 上記繰り返しtest_event1_begin = threading.Event()
test_event2_begin = threading.Event()
test_event3_end = threading.Event()
Pythonで複数入力(無限入力)を実行する方法
“`python:test.py
import syslines = []
for l in sys.stdin:
lines.append(l.rstrip(‘\r\n’))
“`上記のようなコードでは、
“`
python test.py
“`
のように実行しても無限に入力を受け付けてしまい、最後まで実行できませんでした。
(追記)Linux・Macの場合はCtrl+D、Windows なら Ctrl+Zでできました。コメントありがとうございます。下記でも実行できます。
“`
echo “test1.txt” “text2.txt” | python test.py
“`参考:https://stackoverflow.com/questions/43554363/how-to-run-code-with-sys-stdin-as-input-on-multiple-text-files
PythonでDependency Injectionを実装する
備忘録としてDependency Injectionの基礎知識とPythonでの実装方法を整理します。
## 環境
– Python 3.8.10### DIとは?
“` Dependency Injection“` の略です。具体的に言うと、クラスAで利用するインスタンスをクラスAの内部で生成するのではなく、抽象に依存させて外部から渡すことです。
サンプルコードを見てみましょう。
#### 悪い例
“`main.py
class Cat():
def __init__(self, name: str):
self.name = namedef cry(self):
print(f'{self.name} cry meow meow.’)class A():
cat1 = Cat(“ハチワレ”)
def action(self):
self.cat1.cry()if __name__ == “__main__”:
a = A()
Pythonでソート
#並べ替えたい
##sortを使う
###昇順
“`python:
l = [1, 2, 3, 5, 4, 8]
l.sort()
l
“`
“`
[1, 2, 3, 4, 5, 8]
“`
###降順“`
l = [1, 2, 3, 5, 4, 8]
l.sort(reverse=True)
l
“`
“`
[8, 5, 4, 3, 2, 1]
“`
sort()はタプルに対しては使えない。sort()を使うと元のリストが書き換えられる。##sortedを使う
“`python
l = [2, 1, 3, 5, 4, 8]
sorted(l), l
“`
“`
([1, 2, 3, 4, 5, 8], [2, 1, 3, 5, 4, 8])
“`
元のリストはそのまま。sorted()は文字列やタプルを引数にできるが、返すのはリスト。##itemgetterでリスト内のリストを並べ替え
“`python
from operator import itemgetterll = [[“acd”, 123, 456], [“bfe”, 23
【streamlit】streamlit helloを実行してブラウザで動かす方法
#はじめに
streamlit hello を実行してブラウザで動かす方法について記事にしています。#環境
Windows10
Python3.9#streamlit hello の実行方法
1. コマンドプロンプトを起動します。
2. streamlit hello と入力して、Enterを押します。
![streamlit001.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/321513/827fce32-6822-89e8-01de-4ee8e1a12404.png)
3. ブラウザを起動します。
4. ブラウザのアドレスバーに http://localhost:8501/ を入力します。
5. 以下の画面が表示されます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/321513/00f2b1f9-e434-11ea-4631-e3f1b76701ce.png)#stream hell
個人的メモ
#bit全探索(itertoolsを使う)
“`python
from itertools import productfor pro in product((0, 1), repeat=n): #長さnの各要素が0か1のタプルを返す=bit全探索で便利
print(pro)
“`#二分探索(bisectを使う)
“`python
import bisect
list = [10, 20, 30, 40]
bisect.bisect(list, 25)
“`
“`
2
“`