Python関連のことを調べてみた2023年02月18日

selemiumでiframe内のページにアクセス

### iframe内のページにアクセスする場合

“`
driver = webdriver.Chrome()

# iframe内のページにスイッチ
driver.switch_to.frame(driver.find_element_by_name(iframe name))

# HTMLを取得
print(driver.page_source)

“`

#### iframe内のページにフォーカスする場合は

“`
driver.switch_to.default_content()
“`

#### iframe内のHTMLをパースする例

“`
from bs4 import BeautifulSoup

bs = BeautifulSoup(driver.page_source, features=’html.parser’)
“`

Polars, 旬の12のお役立ち機能

某kaggleコンペでPolarsの日本語投稿があってから日本での認知度が急速に広まったPolars. 使い方は以下の良質な記事にお任せして、マニアックな機能を紹介しよう。にしてもVaexは普及せずだった。。

– [超高速DataFrameライブラリー「Polars」について](https://zenn.dev/hiro_torii/articles/06d7e845e146ee)
– [pandasから移行する人向け polars使用ガイド](https://qiita.com/nkay/items/9cfb2776156dc7e054c8)
– [テーブルデータ処理に悩むあなたに朗報！Polarsの使い方を徹底解説　その１：基本編](https://dev.classmethod.jp/articles/polars-tutorial-001-standard/)
– [Polarsでデータサイエンス100本ノックを解く（前編）](https://qiita.com/_jinta/items/28442d25bba067c13bb7)

2023年2月18日現在での実行環境
“

ブラックショールズ方程式 まとめ&実装

　金融工学や数理ファイナンスで最も基礎的な数理モデルとして使われるブラックショールズモデル、およびその基礎づけとしての確率微分方程式について勉強したので復習用にまとめておく。Pythonによる数値シミュレーションの実装は自身で独自に行ったものになります。

主に次の動画と教科書を参考にさせてもらいました：
・[「確率微分方程式 (AIcia Solid Project)」](https://www.youtube.com/playlist?list=PLhDAH9aTfnxIhf-iRKYTVOSXPqDGgfRFP)
・[「確率微分方程式入門 -数理ファイナンスへの応用- (石村直之 著)」](https://www.kyoritsu-pub.co.jp/book/b10004466.html)

## ブラックショールズモデル
　「**[ブラックショールズモデル](https://ja.wikipedia.org/wiki/%E3%83%96%E3%83%A9%E3%83%83%E3%82%AF%E2%80%93%E3%82%B7%E3%83%A7%E3%83%BC%E3%83%

Sphinx+PlantUMLを使ってPythonドキュメントを生成する

# はじめに
## Sphinxとは

ドキュメンテーションビルダーのツールになります。
ドキュメント作成ツールは様々あると思いますが、Pythonで書かれたソースコードなどのコメントなどから自動でドキュメントを生成できます。また、Markdown記法、Jupyter Notebook形式などにも対応しているため、そのプロジェクトのドキュメント作成に向いています。
**機能としては様々ありますが、今回は既存のプロジェクトからドキュメントを生成する初歩的な使い方を紹介します**

## PlantUMLとは
ダイアグラムを素早く作成するためのコンポーネントです。

https://plantuml.com/ja/

# Sphinx準備
ローカルにpythonの環境があることが前提になります。

## test.pyの作成
`TEST`プロジェクト

M1macでpoetry addがスタックする

# 問題

“`
poetry add “`

で永遠に止まる問題

# 解決方法

https://github.com/python-poetry/poetry/issues/7076

“`
poetry cache clear PyPI –all
poetry cache clear _default_cache –all
“`

poetry 1.3.0では解決しているよう

dataframe date to weekday

“`python
df[‘Date’] = df.index
weekday=pd.to_datetime(df[‘Date’], format=’%Y-%m-%d’)
df=df.assign(Weekday=weekday.dt.dayofweek)
“`

Python リスト操作関数

Pythonでリスト操作関数をつくりました。
これらの多くはWolfram言語のリスト操作関数のpython版です。
ソースファイルは以下に公開しています。
https://github.com/yoshiF7d/listop
listop のフォルダの一つ上のディレクトリから、import listop とするとlistopを一つのモジュールとして扱えます。

また新しい関数ができたら加筆していこうと思います。

# リストの要素を指定する関数
## part
`part(lst,i)` は `lst` の `i` 番目の要素を返します。
“`python
>>> part([‘a’,’b’,’c’,’f’,’e’,’f’],1)
‘b’
“`
`part(lst,i,j)` は `lst[i][j]` を返します。
“`python
>>> part([[‘a’,’b’,’c’],[‘d’,’e’,’f’],[‘g’,’h’,’i’]],1,2)
‘f’
“`
`part(lst,[i1,i2,…])` は `lst` の `i1`,`i2`,…番目の要素のリストを

PythonのRequestsでサイズの大きいファイルをダウンロード

Pythonのrequestsモジュールでファイルをダウンロードしたいとする。素直に書くとこう。
“`python
import requests
r = requests.get(‘https://hogehoge/’)
with open(‘hogehoge.zip’, ‘wb’) as f:
f.write(r.content)
“`
ただ、これではファイル全体をメモリに読み込むため、サイズの大きなファイルをダウンロードしようとしてメモリが足りなくなることがあった。
そんなときは、ストリームを使って少しずつ読み書きすればよい。

“`python
import requests
with requests.get(‘https://hogehoge/’, stream=True) as r:
with open(‘hogehoge.zip’, ‘ab’) as f:
for chunk in r.iter_content(chunk_size=1024*1024):
f.write(chunk)
“`

参考: [Requests / Adva

文学部卒社会人が3か月間プログラミングに挑戦～機械学習でサッカー選手の顔を分類～

　文学部卒のド文系の社会人ですが、仕事の関係で地域でのAI利活用を進めるプロジェクトにアサインされてしまいました。AIを活用したサービスなどは日ごろの生活なかで触れるものについてはなんとなくわかるものの、どのような仕組みで成り立っているのかは詳しくはわからない状態でした。
　そんな状態で技術活用の方法を考えたり人に勧めたりすることができるのだろうかと不安があり、通学が必要ないWebスクール形式のものを受講することを決意しました。いくつか比較してみた結果、すぐ始められるというところや給付金制度が活用できるというところでAidemyにしました。本投稿はその成果物という位置づけになります。

## 目次
・学習内容
・成果物内容
・反省
・今後の学習

## 学習内容
【概要】
AidemyのAIアプリ開発（3か月）コースにて、以下Pythonの基礎や周辺技術の基礎的内容を学習。その後、学習内容を踏まえモデルを作成。

【詳細】
– 各ライブラリ：「NumPy」（数値計算）、「Pandas 」（表計算）、「Matplotlib」（可視化）
– データクレンジング
– 機械学習概論、教師あ

FastAPIで実装した様々なエンドポイントのテストを書く（フォームデータの送信、クッキーの確認、ファイルのアップロード等）

# 前提

本記事は、以下の環境を想定しています。
– Python==3.8
– FastAPI==0.91.0

# はじめに

FastAPIは、PythonのWebアプリケーションフレームワークとして、最近非常に人気があります。

https://fastapi.tiangolo.com/ja/

そんなFastAPIですが、個人的に気に入っている点の一つとして、「テストを実装しやすい」という点があります。

本記事では実際に例を挙げて、FastAPIの基本的なテストの書き方から、ちょっと複雑なパターンまで実装をまとめてみました。

# FastAPIでのテストの基本

FastAPIでAPIエンドポイントを実装するとこのようになります。

“`python
from fastapi import FastAPI

app = FastAPI()

@app.get(“/greetings/{name}”)
def _greetings(name:str):
return {“greetings”:f”Hello, {name}.”}
“`

名前をパスパラメータと

【Azure AutoML】回帰タスクをPythonから行ってみた（トレーニング～推論まで）

# はじめに
回帰タスクをAzure AutoMLを使ってPythonから行ってみます。

二項分類のタスクについては[こちら](https://qiita.com/kkawano_neko/items/d7be826d7bb97400bf4e)をご参考ください。

# 開発環境
+ OS Windows 10(NVIDIA GTX 1650Ti,16GB RAM, i5-10300H CPU)
+ Visual Studio Code 1.73.1
+ Python 3.8
+ AzureML Python SDK v2

# 回帰タスクをPythonから行う際の流れ
### 今回使用するデータセット
Azureのデータセットにある「[Automobile price data (Raw)](https://learn.microsoft.com/ja-jp/azure/machine-learning/tutorial-designer-automobile-price-train-score)」を使って自動車価格予測をやってみます。デザイナーからExportしてデータセットを取り

Azure BlobのSAS生成をPythonから行ってみた

# はじめに
Azure Blob StorageをPythonから操作します。
今回はAutoMLでトレーニングされた一番精度の良いモデルの「outputs」フォルダのSAS生成をPythonから行い、SAS URIを使ってローカルファイルにダウンロードしてみます。

# 環境
+ OS Windows 10(NVIDIA GTX 1650Ti,16GB RAM, i5-10300H CPU)
+ Visual Studio Code 1.73.1
+ Python 3.8

# BLOBのSAS生成
それではPythonからSAS生成をします。

以下のコードでは、コンテナーにある特定のフォルダのSASを生成し、このSASトークンを使ってローカルファイルにダウンロードします。
“`sas.py
import os
from azure.iden

【Azure Blob Storage】PythonからBlob・コンテナーを操作してみる

# はじめに
AzureのBlobを[公式のクイックスタート](https://learn.microsoft.com/ja-jp/azure/storage/blobs/storage-quickstart-blobs-python?tabs=managed-identity%2Croles-azure-portal%2Csign-in-azure-cli#download-blobs)を参考にPythonからアップロード・ダウンロードしてみます。またAutoMLでトレーニングしたベストモデルに出力された`outputs`フォルダなどをローカルにダウンロードしてみます。

# 開発環境
+ OS Windows 10(NVIDIA GTX 1650Ti,16GB RAM, i5-10300H CPU)
+ Visual Studio Code 1.73.1
+ Python 3.8

# パスワードレスでBlobのアクセスを行ってみる
Blobへのアクセスは、パスワードレスの方法と接続文字列を使った2種類のやり方があります。
まずはパスワードレスのやり方でやってみます。

## ロー

機械学習モデルの最適化をTabPFNにおまかせしてみる

## はじめに

[**TabPFN**](https://github.com/automl/TabPFN)は、テーブルデータ（分類）を対象としたニューラルネットワークベースの自動機械学習モデルです。

以下は[**論文**](https://arxiv.org/abs/2207.01848)で紹介された内容の翻訳です。

>我々は、小さな表形式データセットに対して1秒以内に教師あり分類を行うことができ、ハイパーパラメータのチューニングを必要とせず、最先端の分類法と競争力のある学習済みTransformerであるTabPFNを発表します。TabPFNは我々のネットワークの重みに完全に内包されており、訓練とテストサンプルをセット値の入力として受け入れ、1回のフォワードパスでテストセット全体に対する予測を行う。TabPFNは事前データ適合ネットワーク(PFN)であり、オフラインで一度学習し、我々の事前データから抽出した合成データセットに対してベイズ推定を近似的に行う。この事前分布は因果推論からのアイデアを取り入れたものである。この事前分布は、単純な構造を優先する構造的因果モデルの大きな

python maya Minimize Rotation Curve

“`python
def minimizeRotationCurves(obj):
rotateCurves = mc.keyframe(obj, attribute=(‘rotateX’,’rotateY’, ‘rotateZ’), query=True, name=True)

if not rotateCurves or len(rotateCurves) < 3: return keyTimes = mc.keyframe(rotateCurves, query=True, timeChange=True) tempFrame = sorted(keyTimes)[0] - 1 mc.setKeyframe(rotateCurves, time=(tempFrame,), value=0) mc.filterCurve(rotateCurves) mc.cutKey(rotateCurves, time=(tempFrame,)) curve_transforms = [cmds.listRelatives(i, p=

chatGPTにぷよぷよを作らせてみた。

# はじめに
みなさん、こんにちは。
今流行りのchatGPTくんに、ぷよぷよゲームを作ってもらう実験をやってみました。
まずはお気軽に頼んでみます。
# レッツトライ
ワイ「ぷよぷよゲームコードをPythonで書いてください。

実際の質問の様子

出力されたコード
“`python
import pygame
import random

# ゲーム画面のサイズを定義
SCREEN_WIDTH = 640
SCREEN_HEIGHT = 480

# ぷよの色を定義
RED = (255, 0, 0)
GREEN = (0, 255, 0)
BLUE = (0, 0, 255)
YELLOW = (255, 255, 0)

# ぷよのサイズとスピードを定義
PUYO_SIZE = 32
FALL

全自動！まとめ動画の制作システム-ver 1.0

# はじめに
### 制作物
有名人を入力すると、以下のようなまとめ動画を2分程度で作成してくれます。

### github

https://github.com/Mitachi-H/matome-movie

### こだわりポイント
* ふんいきオブジェクト指向（しっかりと勉強したわけじゃないので…)
* オプションを多くして、拡張性を高く。

### 自己紹介
神奈川在住の大学三年生。エンジニア系のインターンに受かることを目標に2022年9月からJavascriptの勉強を開始。10月にwebアプリの基本を抑えたのでwebアプリ制作を制作。その後はインターン全落ちして萎えていたが、冬にpythonスクレイピングを勉強し、それで友人の起業の手伝いで小遣いを稼ぐ。

### 制作の経緯
スクレイピングとchatgptを使ったら、将来まとめサイト簡単に作れるようになるやろうなぁ。その練習や！

【AWS/Python】Cloud9 環境で Lamda layer にアップロードするための zip を作成する

# Cloud9 環境で Lambda Layer にアップロードするための zip ファイルを作成する

## 要約
– Lambda に外部ライブラリを組み込むには、Lambda Layer が便利
– Lambda Layer へは python.zip としてアップロードする必要がある
– 非 AmazonLinux 環境で zip 化したパッケージは Lambda 上で呼び出せない可能性がある
– Cloud9 で zip 化→そのまま S3 にアップロードすると結構楽でした

## 前提

### Lambda の実行環境で、外部ライブラリを使うための方法

1. 外部ライブラリを含めて zip したものをデプロイする
– ライブラリのサイズが大きいときにインラインコード編集ができなくなることで、ブラウザ上でちょこっと確認とかができなくなる
2. 外部ライブラリを Lambda Layer として用意しておき、Lambda 上でそれを呼び出す
– 一つ Layer を用意しておけば、複数の関数で呼び出すことができる

容量的にも、管理的にも Lambda L

Stable Diffusion web UI の初期値を設定したい

## Stable Diffusion web UI

みなさん、[Stable Diffusion web UI](https://github.com/camenduru/stable-diffusion-webui)って使われていますか？

これまで、[Diffusers](https://github.com/huggingface/diffusers)へ直接パラメータを設定して使っていたのですが、WebUIを試してみると、これはこれで楽でいいなと楽しんでいます。

## ちょっとした不満

ただ、[Google Colaboratory](https://colab.research.google.com)で使う際に、WebUIを起動する度に毎回パラメータを設定するのが面倒だなと思えてきました。

## 改善策

コードを確認したところ、パラメータ設定用のJSONファイルを与えてやれば良いことが判りました。
Google Drive上のJSONファイルを参照できるようにしても良いのですが、せっかく[Google Colaboratory](https://colab.rese

「シーケンス認識によるAI-OCRモデル」を活用しMNISTから生成した数字列を読み取る

# はじめに
こんにちは。cosumi77と申します。Qiita初投稿です。

普段はド田舎でSEとしてvb.netの開発に従事しておりますが、PythonやAIについてはつい最近まで「なにそれ？美味しいの？」状態でした。
本記事は、そんな私がナウい（笑）言語を駆使して課題に取り組みましたので、それを紹介するものとなります。

「こんな~~クソ~~記事をネット上に公開して誰が一体読むのか…？」という気持ちを抑えつつ、アウトプットの練習として公開いたします。

記載内容に誤り等ありましたら、ご指摘いただけると大変ありがたいです。
どうぞ宜しくお願い致します。

# 目次
[1.実行環境](#1-実行環境)
[2.本記事の目的](#2-本記事の目的)
[3.前提となる問題意識](#3-前提となる問題意識)
[4.モデルの概要](#4-モデルの概要)
[5.目的に至るまでの道のり](#5-目的に至るまでの道のり)
[6.やってみた](#6-やってみた)
[7.次のステップ](#7-次のステップ)
[8.Appendix](#8-appendix)
[9.振り返り](#9-振り返り)
[10