Python関連のことを調べてみた2022年10月18日

PyCon JP 2022 day1 詳解 print(“Hello, world”)

前回に続き、現地参加したPyCon JP 2022のセッションのまとめになります。

今回は、Day1の「詳解 print(“Hello, world”)」です。

# 動画

# スライド
– https://docs.google.com/presentation/d/19b0jIIj2-KmwXf49eWM2dgzZPeSuxABDyib_lpyTCxU/edit?usp=sharing

# スピーカー
– Rei Suyamaさん
– 株式会社RevComm

Pythonプログラムで REST API の data部リクエスト文のString型への変換

## 概要

REST API 経由でデータをやり取りするときに、リクエスト文等をdata部に渡したりしますが、この文をDict型で作成したのち、String型への変更が必要となります。この変更プログラムとなります（備忘録として）。

ちなみに、以下のPythonプログラムの確認対象リクエスト文は Azureの請求データを REST API で取得するためのクエリ・リクエスト文となります。

### 実行環境

macOS Monterey 12.3.1
python 3.8.12

### 実行プログラム

“`python:payload_json.py
import json

# 確認対象リクエスト文
payload = {
“type”: “Usage”,
“timeframe”: “MonthToDate”,
“dataset”: {
“granularity”: “Daily”,
“aggregation”: {
“totalCost”: {“name”: “PreTaxCost”, “f

Selenium + Python で EdgeのIEモードでスクレイピング

# Selenium + Python で EdgeのIEモードでスクレイピング
ある程度の前提はあるものとして、詳細は略します。
環境は、Windows10 Pro 64bit とSelenium4.1.2。

## Pythonインストール
Pythonのサイトからダウンロードする。64bit版でよい。
管理者としてインストール。
pyLauncherを入れた方が良いかもしれない。
全てのユーザ向けにインストールする事。
「.py」ファイルが、OSで「Python File」として認識されている事を確認。

### 確認事項
「.py」ファイルが、OSで「Python File」として認識されている事を確認。

もし、Pythonファイルの紐づけがおかしかった場合、
管理者権限でコマンドスクリプトを起動して、以下のコマンドによって関連付けが可能。
assoc .py=Python.File
assoc .pyo=Python.CompiledFile
assoc .pyw=Python.NoConFile
ftype Python.File=”C:\Program Files\Py

Codeforces Round #828 (Div. 3) E-Divisible Numbers – ある数で割り切れる値域の決まっている２数の積

# 問題
– $a,b,c,d$の4つの数が与えられます。$a < x \leq c$,$b < y \leq d$であり、$ab$で割り切れるような数$x$,$y$を求めてください。どれを出力しても良いです # 考え方 題意より、$x \cdot y \equiv 0 \pmod{a \cdot b } $となるような$x$, $y$を求めればよく、$a \cdot b \cdot k = x \cdot y$となるような整数$k$が存在すればこれを満たします。$k$は$k = k_1 \cdot k_2$と任意の整数の積で表してよいです。 次に、$a \cdot b = e \cdot f$となる整数$e$, $f$を考えます。$e$は整数であることから$a \cdot b$を割り切れる数であり、$f= \frac{a \cdot b}{e}$で示せます。 このようなすべての$e$は$a \cdot b$を割り切れる数であるので$a \cdot b$の約数すべてが候補になります。これは$a$と$b$の約数を1つずつ選んだ時の積の集合と一致します。 - 例を挙げます。$a=3

Python,Ruby,PHP,Java,JavaScript,PerlのC言語拡張の比較

Qiita > プログラミング言語の比較

Python,Ruby,PHP,Java,JavaScript,PerlのC言語拡張の比較

# Python

https://qiita.com/pocokhc/items/836a3596df5facd00824https://qiita.com/nabion/items/594fb3316583130a636e

# Ruby

https://qiita.com/suketa/items/ab6b88093de4a54b3b06

# PHP

https://qiita.com/takeyoshi-k/items/2a993eefbe06be047eff

# Java

https://qiita.com/tobita_yoshiki/items/0400f7e393fc0ba2d0cb

# JavaScript

https://qiita.com/mokomium/items/57

Pythonプログラムに パラメータとして日付を渡してみました – 第二弾

## 概要

データ分析において、データ抽出に日付を指定したくなります、、、、そんな理由でサクッと作ってみました。の第二弾！ Azureの請求データを CostManagement から取得するときに年月日を範囲として指定するときの利用を想定しています。

ちなみに、[第一弾の記事はこちらになります](https://qiita.com/turupon/items/022cc53a086edb8e58d0)

### 実行環境

macOS Monterey 12.3.1
python 3.8.12

### 実行プログラム

“`python:QueryTimePeriod.py
from datetime import *
import argparse

# パラメータ日付の確認
def check_time_period(fm_tp, to_tp):
try :
fm_datetime = datetime.strptime(fm_tp, ‘%Y-%m-%d’)
to_datetime = datetime.strptime(to_tp

ゲーム画面をOCRする その1

※この記事は、ゲームのチート行為を目的としていません。
　また、人が手で行えること以上は行えず、ゲーム内データの解析や改造も行なっていません。

# 導入
ゲーム内からは参照できるが、
テキストデータとして欲しい文字列、数値があった場合、
量が少なければ、手打ちで賄えますが、
量があった場合は手間がかかり、
日々繰り返すような場合、負担になり続けます。
これをOCRによって軽減しようという試みです。
（ゲーム以外にも、書類など定型があるものに応用できると思われます。）

# 対象
この記事では、
「プリンセスコネクト！Re:Dive」の
「クランバトルのバトルログ」を対象とします。

月末のクランバトルにて数百行分のバトルログが貯まりますが、
テキストデータとしてエクスポートする手段がないため、
バトルログを活用するためには、
手打ちでスプレッドシートへのデータ入力が必須となります。

## 素材取得
素材となる画像として、下記リンク内の画像を使います。

クランバトル バトルログアップデート決定！

実際には、ゲームでログを表示し、
3行

移流分散方程式を解いてみる

## 背景

ある日、先生からメールが届いた。
要約すると、宿題出すから解いてこい、とのことだった。マジで急にきてビビり散らかしました。
宿題が課されているのは文面から理解できたけど、具体的にどのような回答が期待されているか推し量りかねた（プログラミングが要りそうという見当はついた）。

コーディングするには、まず要件定義から。先生にところに足を運び、具体的に解くべき問題を明らかにした。この時点で回答期限が迫ってるんだよなぁ…

## 宿題内容
:::note info
こんな問題
観測孔のある区間に，鉛直深さLでトレーサをT0時間注入し続け，その後はゼロ濃度を保つ．観測孔からX離れた下流側の観測孔にて得られるBTCsを深度ごとに考察せよ．
:::

BTCsは、ブレークスルーカーブのこと。流体力学のアレです。

## 回答
### まずは一次元から
1次元の移流分散方程式は、

$$
D\frac{∂^2C}{∂x^2} – v\frac{∂C}{∂x} = R\frac{∂C}{∂t} \tag{1}
$$

にて与えられる$^{1)}$。ここに、$D~$は拡散係数、$v~

計算化学者のためのPython入門ークラスの使いみちー

# はじめに
このシリーズは計算化学を題材にした Python プログラミングを紹介した「**計算化学者のためのPython入門**」の1つです。
特に「計算化学関連の Python プログラム開発に携わる予定」の読者を想定してます。

– [基礎知識のおさらい](https://qiita.com/TakuroTsutsumi/items/bcc86d243f5b38e93de9)
– [Python練習問題](https://qiita.com/TakuroTsutsumi/items/601f29d819624754e9df)
– [プログラム開発に参加するための心得](https://qiita.com/TakuroTsutsumi/items/cac3f3e7c32acaaef3ec)
– [クラスの使いみち](https://qiita.com/TakuroTsutsumi/items/5f8595bc2ffc68020a9b)
– [サンプルデータ集](https://qiita.com/TakuroTsutsumi/items/5dfb251ad0818d41cd1d)

【競技プログラミング】中国人郵便配達問題をやってみた【組合せ最適化】

# 1.初めに
・アルゴリズムを学ぶために、競技プログラミングを始めました。
・AOJのコースをやっていくので、その備忘録を残します。

https://qiita.com/kindamu24005/private/3b6687136838c16caee6

・前回は巡回セールスマン問題を解いたので、今回は「中国人郵便配達問題」を解いていきます。

# 2.中国人郵便配達問題

https://onlinejudge.u-aizu.ac.jp/courses/library/7/DPL/2/DPL_2_B

## 2.1問題
重み付き無向グラフ $G(V,E)$ について、以下の条件を満たす最短経路の距離を求めて下さい：

– ある頂点から出発し、出発点へ戻る閉路である。
– 各辺をちょうど１度通る。

### 入力
$|V|$ , $|E|$ はそれぞれグラフ $G$ の頂点の数と辺の数を示す。グラフ $G$ の頂点にはそれぞれ $0, 1, …, |V|-1$ の番号が付けられている。

$s_i$, $t_i$ はグラフ $G$ の

huggingfaceを試す

## はじめに
[huggingface](https://huggingface.co/)ではさまざまなデータセット，モデル，メトリックを扱うことができます．また，`Trainer`を用いることで学習や評価も簡単に記述することができます．huggingfaceを感情分類・質問応答のタスクで試してみました．

## 感情分類
* データセット：imdb
* モデル：bert
* メトリック：accuracy

“`python
from datasets import load_dataset
from transformers import AutoModelForSequenceClassification, AutoTokenizer, TrainingArguments, Trainer
import evaluate
import numpy as np

# データの読み込み
imdb = load_dataset(‘imdb’)

def tokenize_function(examples):
return tokenizer(examples[“text

Cannot use Dataset instance for prediction, please use raw data instead

LightGBMを使って2値分類をしていた時にタイトルのエラーが出た。

問題のコードは次の通り。

“`
#データの分割
x_tr, x_va, y1_tr, y1_va = train_test_split(x_train, y1, test_size=0.3, random_state=36)

#LightGBM用のデータセット
lgb_tr = lgb.Dataset(x_tr, y1_tr)
lgb_va = lgb.Dataset(x_va, y1_va)

#lightGBMの初期パラメーター
params = {
“objective”: “regression”, #問題設定: 回帰
“metric”: “rmse”, #評価関数: RMSE
“verbosity”: -1 #ログ出力: 無し
}

#学習
model_y1 = lgb.train(
params, # ハイパーパラメータ
train_set=lgb_tr, # 学習データ
num_boost_round=100, # ブースティングを行う回数

Apache Beam Python入門

# 1. Preparation

## 1.1. Python version

“`
python -V
Python 3.9.9
“`

## 1.2. Install Dependencies

“`
pip install apache-beam
“`

## 1.3. Prepare input.txt

“`input.txt
This guide shows you how to set up your Python development environment, get the Apache Beam SDK for Python, and run an example pipeline.
“`

# 2. Run

“`
python -m apache_beam.examples.wordcount –input input.txt –output output.txt
“`

“`
INFO:root:Missing pipeline option (runner). Executing pipeline using

pip install grpcio のインストールで死ぬ (M1 Mac)

# Env

– MacBook Pro (13-inch, M1, 2020)
– OS macOS Monterey 12.3.1

# Failure

“`
…
_Nonnull
/Library/Developer/CommandLineTools/SDKs/MacOSX.sdk/usr/include/stdlib.h:361:13: warning: pointer is missing a nullability type specifier (_Nonnull, _Nullable, or _Null_unspecified) [-Wnullability-completeness]
extern char *suboptarg; /* getsubopt(3) external variable */
^
/Library/Developer/CommandL

【UE4】俺、AIになる

# はじめに

こんにちは。
突然ですが、
### VTuber
になりたいんですよね。


VTuberになって、あわよくば**にじさんじ**に入って、YouTube収入とか**スパチャ**とかで稼ぎつつ、**承認欲求**を満たしたい・・・。

けど、VTuberって
– モデルの用意
– かっこかわいいボイス
– なんかモデル動かす
– カメラキャプチャ？？
– 歌が歌える
– 配信とか時間かかる
– etc….

特にめちゃくちゃ調べたわけじゃないですけど、とても大変そうですよね。
ハードやソフトを揃えるだけじゃなくて本人のスキルも磨かなければなりません。
本当にVTuberの皆様ってすごいんだなと痛感します。

そもそも本職をおろそかにできないので、特にスキルを磨く時間がないんですよね。

となると、やはり
### 全てAI

語句の散布図 scattertext を描こう！

## はじめに

テキストデータに含まれる語句の出現頻度からテキストデータの内容を探る代表的なツールに、[WordCloud](https://pypi.org/project/wordcloud/)があります。

例えば、テキストデータが「ポジティブ」と「ネガティブ」というクラスでカテゴリー表現されている場合、ポジティブデータとネガティブデータで[WordCloud](https://pypi.org/project/wordcloud/)を描き、両者を比較することもあります。
これはこれでクラスの違いを把握する一つの方法かと思いますが、クラスの違いが一目で見られるとよりよいのではないでしょうか？

そんな時に有効なツールのひとつが [**scattertext**](https://pypi.org/project/scattertext/) です。

散布図で文字をプロット・・・と耳にすると、ちょっと散らかってみにくいような印象を持つ方もおられるかもしれませんが、[**scattertext**](https://pypi.org/project/scattertext/)は 表

【Python】妻に真夜中のダンスレッスン予約を強要されたので、Webスクレイピングで回避を試みようとしている話 （４．処理フローについて考える）

前回は、「３．Chromeドライバの配置」について発信しました。昨夜は月１の真夜中の争奪戦だったので、結構寝不足です。:weary:　寝不足ながらもこの状況を抜け出すため頑張るのです。今回は予約プログラムの処理フローについて考えました。以前掲載した要件定義は以下のとおりです。

## 要件定義
>1. 会員情報、予約情報（予約レッスン日時、予約場所など）は、Excelで管理
>1. Excelファイルより必要情報（会員情報など）読み込む。
>1. 読み込んだ情報を元にログインし、予約操作を行う。
>1. 処理結果がわかるようにする。
>1. ツールの起動時間の設定ができるようにする。

５の起動時間の設定については、Windowsのタスクスケジューラを使用することにしました。こちらのほうが簡単・確実です。

## 構成図？は、こんな感じです。
手書きで汚くてすみません；；
PyCon JP 2022 day1 Keynote

10/14(金)~15(土)に開催されたPyCon JP 2022に行ってきました。
私自身まだPython歴半年の若輩者ですが、諸先輩方から学びたいと思い初めて参加することにしました。

各セッションごとに、記事を投稿していきたいと思います。
まずはDay1のKeynoteからです。

# 動画

# スライド
– 公開なし

# スピーカー
– Mark Shanonnさん
– Microsoftが出資するCPython高速化チームのリーダー

# 内容まとめ
– P

【StableDiffusion】よわよわMacBookでもAIに絵を描かせたい！

# はじめに

最近AIが絵を描いてくれるツール流行っていますよね。
Stable Diffusionがすごいとかなんとか・・
無料で使えるサービスもあるのですが（[DreamStudio](https://photoshopbook.com/2022/10/03/dream-studio/), [お絵描きばりぐっどくん](https://page.line.me/877ieiqs)など）、すぐ制限にかかってしまい使えなくなってしまいます。

じゃあローカルで実行できるようにしよう！
ってことで

→ ネットの記事を調べてみる

→ 大抵がGPUを使う前提の記事

→ 自分のよわよわ intel CPU じゃ使えないのか..?

→ **「ん?そもそも本当にGPUありじゃないと使えないのか？よわよわPCでもいけるんじゃない？」**

ということを検証してみようと、この記事を書くに至りました。

# 記事の対象者
GPUが搭載されていない/機械学習向きでないPCで無料でStable Diffusionを使うことを検討

賃貸情報サイトからデータ収集して家賃の予測

# はじめに
就職や進学を機に上京する人がたくさんいます。私もその中のひとりでした。そこで考えなければならないのが「住む家」です。東京は家賃が高い、地域によって相場が違う、六本木や麻布十番、乃木坂、赤坂、青山などの坂道聖地巡礼スポットのある港区は特に高いなど、よく耳にします。そこで、賃貸情報サイトより東京都内23区の賃貸情報のデータを収集してそのデータで家賃の予測を行いました。

# 開発環境
・　MacOS Monterey 12.5.1
・　Anaconda
・　Jupyter Notebook

# 手順
1. データ収集
2. データ前処理
3. データ分析
4. モデル構築(パラメータチューニングなし)
5. モデル構築(パラメータチューニングあり)
6. モデルの評価

# 1. データ収集
緑のキャラクターでお馴染みの賃