Python関連のことを調べてみた2022年07月19日

その並列処理待った！　「Python 並列処理」でググったあなたに捧ぐ、async, threading, multiprocessingの説明

# 対象読者
「Python 並列処理」でググってたどり着いたPython, 並列処理の初心者の方。
並列処理を使ったことはあるけど、概念をよく知らない方。
async, threading, multiprocessing の違いがわからない方。
そんな方々に向けて、3つの手法の概要について、イメージ図も交えてざっくりと説明する記事です。

# async, threading, multiprocessing の概要
Pythonで並列処理したい時に使える3つの手法「async」「threading」「multiprocessing」を紹介します。本記事では小難しい話はせずに、概要とイメージの話にとどめたいと思います。

### スレッド数とコア数に着目した分類表
||スレッド数|プロセス数|CPUコア数|区分|
| :— | :—: | :—: |:—:|:—|
|**async**|**1**|**1**|**1**|非同期処理|
|**threading**|**N**|**1**|**1**|並行処理|
|**multiprocessing**|**1(

Image-Adaptive-3DLUTをトレーニングする

# 画像の色とトーンを向上させるカスタムモデルを作りたい
Image-Adaptive-3DLUTは3D Look Up Tableを学習して、画像の強化をおこなえるモデルです。
事前トレーニング済みモデルはFiveKというレタッチデータセットで学習されていますが、カスタム・データでトレーニングすることもできます。

# トレーニング手順

### データの用意

データは次の形式で用意します。
480px四方にリサイズしました。

“`
# input
data/my_dataset/input/JPG/480p

# truth
data/my_dataset/expertC/JPG/480p
“`

### セットアップ

“`shell
pip install torch==0.4.1.post2 torchvision===0.2.2 -f https://download.pytorch.org/whl/torch_stable.html
cd trilinear_c
sh make.sh
“`

### トレーニング

“`shell:train.sh
# Fo

執筆体験記「Kaggleで磨く 機械学習の実践力」

# はじめに
こんにちは。(株) 日立製作所の [Lumada Data Science Lab.](https://www.hitachi.co.jp/products/it/lumada/about/ai/ldsl/index.html) の諸橋 政幸です。

プライベートな活動になりますが、「**Kaggleで磨く 機械学習の実践力**」というタイトルの本を執筆し、6月に無事発売しました。書籍の執筆という貴重な体験をしたこともあり、せっかくなので「執筆を通じて知ったこと／経験したこと」などを書きたいと思います。将来的に本を書きたいなと考えている方の参考になれば幸いです。
本記事では以下のことを書いています。

1. なぜ執筆することになった／したのか
2. 企画から発売までのプロセス
3. 執筆する際にどんなことで困ったか

# まずは本の紹介です！
興味を持った方は是非読んでみてください！書店にも並んでます！！

– [タイトル] **Kaggleで磨く 機械学習の実践力** — 実務xコンペが鍛えたプロの手順
– [https://www.amazon.co.jp/dp/4

戸建て住宅マーケティングAI 開発

これから、積もってきた python vue.js java 等の kipple を使って
戸建て住宅を題材に、マーケティングシステム(AI ?) の開発してみます。

以下のurlは、とりあえず立ち上げたもので、
今後、必要な機能を継ぎ足していきます。

[](https://15db.end0tknr.jp/)

scikit-learnのDecisionTreeClassifier基本使い方: 枝刈りと決定木描画

[scikit-learnのDecisionTreeClassifier](https://scikit-learn.org/stable/modules/generated/sklearn.tree.DecisionTreeClassifier.html)の基本的使い方を解説します。
訓練、枝刈り、評価、決定木描画をしていきます。

https://scikit-learn.org/stable/modules/generated/sklearn.tree.DecisionTreeClassifier.html

# 環境
Python3.7.13で１Google Colaboratory上で動かしています。Google Colabプリインストールされているパッケージはそのまま使っています。
最近気づいたのですがscikit-learnはPython3.7ではもう更新しなくなっていますね。

|Package|Version|備考|
|:-:|:-:|:-:|
|scikit-learn|1.0.2|Google Colabプリインストール|
|matplotlib|3.2.2|G

1/fゆらぎで癒されたい

# はじめに
**癒されたい。**
現代社会に生きる我々は常に何かに追われ、休まることのない日々を送り続けています。
そんな我々に必要なものは何か。そう、**癒し**です。テクノロジーの力で癒されましょう。

# 1/fゆらぎ
近年リラクゼーション効果があるとして注目されている^{[誰によって?]}のが**1/fゆらぎ**です。1/fゆらぎはこのように定義されています。

> 1/fゆらぎ（エフぶんのいちゆらぎ）とは、パワー（スペクトル密度）が周波数 f に反比例するゆらぎのこと。ただし f は0より大きい、有限な範囲をとるものとする。
> \- Wikipedia 「1/fゆらぎ」2022/6/30 10:38 (UTC)

**は？(半ギレ)**

# 1/fゆらぎの音
ここはもう少しわかりやすい具体例として**音**を使いましょう。ご存知の方も多いと思いますが、音は波として表すことができます。例えばこれが波の形が正弦波になるような音です。最初の方は音が聞こえない方もいるかもしれませんが、それは周波数が我々人類の可聴域ギリギリだからです。PCの故障ではありません。

jsからaxiosを用いて画像データを送ってFlaskで受け取ろうとしたら「400 BAD REQUEST」が出た話

# ざっくりまとめ
##### jsからaxiosを用いたPOSTリクエストでBASE64形式の画像データを’multipart/form-data’として送ってFlaskで受け取ろうとしました。
##### しかし、 400 BAD REQUESTが出ました。
##### 「BASE64をバイナリ形式経由でfile形式にすること」と「送るデータのnameと受け取るデータのnameを一致させること」をして解決しました。

# 目次
0. はじめに
1. やろうとしたこと
2. コード
3. 今回詰まったエラー
4. 思考
5. 参考にさせていただいたサイト

# 1. はじめに
エラーで詰まったときは備忘録として記事に残しておこう、ということで第一弾です(第一弾で終わりそう。。。)。

先日、ハッカソンに参加してきまして、今回はその時に詰まったエラーについて書いていきます。
(ちなみに今回jsとかaxiosとかNext.jsとか諸々初めて触れたので、内容に間違いがあったら優しく教えて欲しいです。)

先に結論を言ってしまうと、簡単なミスでした()

# 2. やろうとしたこと
フロ

tkinter でドラッグアンドドロップ!

# ファイルをドラッグアンドドロップするだけで結果が見えるプログラムを作りたい!

ファイルを加工したいとき、ファイルを分析したいとき、投げ込むだけで動作する方が効率的だと思ったのでまずは雛形を作ってみました!

## 実行環境

– OS
– Windows 10
– python
– 3.9.13
– tkinter
– [tkinterDnD2](https://github.com/Eliav2/tkinterdnd2)

## 環境作成

Miniconda(Anaconda) を使って環境作成を行いました。
pip で tkinterdnd2 をインストールしています。

“`sh
conda create -n dev39 python=3.9 pyinstaller
conda activate dev39
pip install tkinterdnd2
“`

## コード

以下に、作成したコードを記載します。
実行と加工は自己責任でお願いします。

“`python
import tkinter a

YouTube Live チャットのコメントで特定の文字を取得してラズパイでLチカする

この記事を参考にすると、YouTube Live チャットのコメントで特定の文字を取得してラズパイでLチカできる。
https://qiita.com/iroiro_bot/items/ad0f3901a2336fe48e8f

↓こんな感じ。

“`python:ylc.py
#　Live動画のコメント取得

import time
import requests
import json
import RPi.GPIO as GPIO
import time

#事前に取得したYouTube API key
YT_API_KEY = ”

def get_chat_id(yt_url):
”’
https://developers.google.com/youtube/v3/docs/videos/list?hl=ja
”’
video_id = yt_url.replace(‘https://www.youtube.com/watch?v=’, ”)
print(‘video_id : ‘, video_id)

url

herokuでのdocker-compose.ymlの参照範囲についての検証結果

# はじめに
前回下記のようなものを投稿していました。

::: note info
herokuでイメージ・コンテナ作成するときは「docker-compose.yml」の「ports」って利用していないのでは？
:::

https://qiita.com/std-flower/items/31452e3a428355014721

# 検証方法
前回までは、テスト環境側のホストOSの環境変数、および本番環境であるherokuの環境変数に[wk_port]を追加し、下記の設定とした。
– テスト環境：8888
– 本番環境　：未設定

docker-compose.ymlは下記の状態

::: note info
今、どっちの環境で動作してますよ、の判断を[wk_port]で行おうとしていた。
:::

“`docker-compose （修正前）.yml
version: ‘3’

services:
＜サービス名＞:
build:
dockerfile: ./Dockerfile
ports:
– $wk_port:$wk_port
env

Pythonチュートリアルで学ぶ：Pythonインタプリター

単純作業の自動化に興味があり、PythonとVBAを勉強しています。
ついでに資格も取れたらいいなー、ということで公式テキストで勉強することにしました。

PythonをPCにインストールした状態でコマンドプロンプトを開き
(環境はWindowsです。)

“`
python 3.10
“`
のように入力するとPythonインタープリタと呼ばれる対話型の
環境が開きます。

そこにPythonを入力すると以下の画像のような感じで、すぐに実行してくれます。


最初のほうの章なので簡単な内容でした＾＾

お手軽監視センサーシステムを作ってみた

# はじめに

:::note info
本記事は QiitaEngineerFesta 2022 「remote.it を使って ○○ に接続してみた！」に参加して投稿したものになります。

[QiitaEngineerFesta 2022](https://qiita.com/official-campaigns/engineer-festa/2022)
[remote.it を使って ○○ に接続してみた！](https://qiita.com/official-events/8a2ab08f6fa0f093ae39)
:::

映画でよくある、侵入者やお宝に近付く人をセンサーで検知するやつ、IoT 時代の現代なら簡単に実装できるのでは？と思いやってみました。
今回は、外出先から距離測定センサーのプログラムを起動して値を確認するところまでを実装しました。

手順は以下の通りです。

1. ラズパイに超音波センサーを取り付ける
2. remote.it を利用して監視側デバイスからラズパイを起動できるようにする
3. 監視側デバイスからセンサーの計測結果をリアルタイムで確認する

Azure SDK for Pythonの利用メモ

# Azure SDK for Pythonの利用メモ
## 本記事について
普段のAzure構築ではポータルやPowerShellを使うことが多いのですが、データの集計とエクセル出力までおこなうにあたり使い慣れているPythonを使用したく、SDK for Pythonを使ってみました。
覚書も兼ねて使い方をまとめておきます。基本的にはMicrosoftのドキュメント通りです。
– [Microsoftドキュメント](https://docs.microsoft.com/ja-jp/azure/developer/python/sdk/azure-sdk-overview)
– [SDK for Pythonのリファレンス](https://docs.microsoft.com/ja-JP/python/api/?view=azure-python)

また、所々つまずいたり、面倒だったりした点や対応を”メモ”に記載します。

## SDK for Pythonの概要
– Pythonのサポートバージョンは2.7および3.5.3以上とのこと。　※本記事では3.10.4で動作確認してい

Pythonの論理演算子andとorは必ずしもbool型を返さない

研究やらで数年間Pythonを書いてきたのに知らなかった。
備忘録として残しておきます。初心者なので細かい点はご容赦ください。

普通、A and B、A or B(言語によってはA && B、A || Bなどの場合も)は、AとBの論理演算を行った結果を返します。
つまり、A、B、演算結果はすべて真偽値となり、Pythonではbool型となる……と、思っていました。

しかし、実際には以下のようなプログラムも実行できます。
“`python
x = 1 and 2
print(x)

y = “かぶと” or “くわがた”
print(y)
“`
“`text:実行結果
2
かぶと
“`
ご覧の通り、数値や文字列に対してもand・or演算子が機能し、またbool型ではない結果が返ってきています。

これは、Pythonでは、A and B及びA or Bが次のような仕組みになっていることに由来します。
“`python:A and B
if not bool(A): # Aをbool型に変換した結果がFalseの場合
return A # Aを返却(Aをbool型に

ARC144 参加記 (兼 A,B,Cの雑な解説)

# はじめに

ABCに比べてARCは考察のウェイトが重めで、特定のアルゴを知っているか否か、というより、解法に至るプロセスが大事だと考えている。そのあたりの整理の意味を含めて、自分が解けた問題まで、当日のプロセスを振り返ってみる。
例によって形式的な書き方はあまりしない（できない）ので、そういうのが欲しい方は公式解説を読んでほしい。

最初は解説のつもりで書いていたが、あまりにも内容が雑なので変えた。

# A. Digit Sum of 2x

前提として、ARCのA問題は、ぱっと見何言ってんの？って思うぐらいに複雑な問題に見えて、法則に気づくと実装も楽なケースが多い。そういう意味で、問題をきちんと理解し、法則に気づけるかどうかというのがポイントだと思う。
この点を踏まえて、問題を整理していく。

f(x)は、xの各桁の数の合計であって、この合計値がNとして与えられている。

このxは、実験してみると結構自由にとれることがわかる。例えば、
“`
f(9)=f(333)=f(111111111)=9
“`
という感じになる。

さて、この自由にとれるxを二倍にしたときに最大とな

3から999までの素数を表示するプログラムを書いてみた

# 3から999までの素数を表示するプログラム
“`python:素数練習6.py
zentai=range(3,1000)

for number in zentai:
sosu=True

for waruyatsu in range(2,number):
if number%waruyatsu==0:
sosu=False

if sosu==True:
print(number)

“`
まず、一行目の`zentai=range(3,1000)`は3から999までをzentaiというリストの範囲と取ります。

三行目の`for number in zentai:`はzentaiの内容を順番に実行させます。

四行目の`sosu=True`はsosuをTrueと定義します。初期化の為にも四行目である必要があります。

六行目の`for waruyatsu in range(2,number):`はwaruyatsuは2からnumberまでの範囲と取ります。

七・八行目の`if n

Openpyxlの基本操作（シート、セル、スタイル、背景色、書式付きフォーマット）

# 経緯
Excelあまり好きじゃないですが、現場で色んなExcelの成果物がほしいなので、できるだけ自動化するために、Openpyxlを学習。
以下のソースの一部はソースからコピーしたので、クラス内部の部分もあって、selfなどがそのまま残っていますが、読み替えてください。

# workbook, worksheet, cellに関する基本操作
“`python
import openpyxl
…
# 新規Excelを作成して保存
wb=openpyxl.Workbook()
wb.save(self.fileName)
…
# Excelを開いて新規シートを作成
wb=openpyxl.load_workbook(self.fileName)
wb.create_sheet(self.currentSheetName)
wb.save(self.fileName)
…
# Excelを開いて特定のシートを指定
wb=open

Pythonでデータベースに解答文字列を格納

# 環境
この記事では以下の環境を用いています。
・Python3.8.1
・pdfminer.six 20220524
・MySQL Ver 8.0.29
# 概要
　[以前の記事](https://qiita.com/f-suzuki/items/d861caf8ca9232c991fe)でpdfから基本情報技術者試験午前解答を文字の配列として抽出するシステムを実装しました。
本記事では上システムに解答文字列をデータベースに格納する機能を実装します。

# 使用DB構造
　まず使用するテーブを定義します。今回はどの問題かを特定するための問題IDと解答となるカタカナ（ア,イ,ウ,エのいずれか）を保持します。
問題IDは`開催年_季節(FallまたはSpring)_FE_q問題番号`を付与することにします。以下に今回使用したテーブルの作成SQLを示します。
“`sql:am_ans.sql
CREATE TABLE am_ans(
id varchar(50) NOT NULL PRIMARY KEY,
ans varchar(2)
);
“`

# DB操作処理の実装
続いて

【Python】plotlyで円グラフ

“`python
# -*- coding: utf-8 -*-
import pandas as pd
import plotly.express as px
import plotly.graph_objects as go
from plotly.subplots import make_subplots
import datetime

dt_now = datetime.datetime.now()
dt_now_jst_aware = datetime.timedelta(days=7)

print(dt_now)
print(dt_now + dt_now_jst_aware)

df = pd.read_excel(‘test.xlsx’, index_col=0)
df = df[df[‘hiduke’] <= datetime.datetime(2022, 7, 6)] print(df[df['hiduke'] <= datetime.datetime(2022, 7, 6)]) fig = go.Figure() fig.add_trace(

入水記事

２０代医師の[Dr_pilot](https://atcoder.jp/users/Dr_pilot)です。２０２２年７月１７日実施のABC260で入水しました、やったね！

入茶、入緑までの過程は[こちらの記事](https://qiita.com/DrDrpilot/items/2ba1f541cf6785e7abf6)をご覧ください。

プログラミングというものを1から勉強し始め、2021年9月時点では「リストの先頭は１ではなくて０からスタートなのかー」「printという関数で出力するんだね」レベルでしたが、そこから１０ヶ月で水色まで来ることが出来ました。今回は、緑→水にレベルアップするために必要だと思うことをメインに記事にさせていただきます。

### 入緑した時と今の時点で明らかに違うス