Python関連のことを調べてみた2022年02月11日

KaggleのNew York taxi fare prediction問題に取り組んでみた話。

## KaggleのNewYork Taxi Fare Prediction問題
乗車地の緯度・経度、降車地の緯度・経度、乗車した日時、乗車人数をもとにニューヨーク市でのタクシーの運賃（通行料を含む）を予測する問題。

早速取り組んでみる。
参考にしたKaggleノートブックは[こちら](https://www.kaggle.com/petrol/test-new-york-city-taxi-fare-prediction)

## 実装

使いそうなモジュールの読み込み

“`
%matplotlib inline
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.metrics import mean_squared_error
from sklearn.model_selection import train_test_split
“`

データの読み込み

“`
train_df = pd.read_csv(“

「新・明解Pythonで学ぶアルゴリズムとデータ構造」で勉強日記#1~4まとめ（第1章部分）

第1章分のまとめです。自分で振り返れるように作りました。

【出典】[「新・明解Pythonで学ぶアルゴリズムとデータ構造」](https://www.amazon.co.jp/%E6%96%B0%E3%83%BB%E6%98%8E%E8%A7%A3Python%E3%81%A7%E5%AD%A6%E3%81%B6%E3%82%A2%E3%83%AB%E3%82%B4%E3%83%AA%E3%82%BA%E3%83%A0%E3%81%A8%E3%83%87%E3%83%BC%E3%82%BF%E6%A7%8B%E9%80%A0-%E6%96%B0%E3%83%BB%E6%98%8E%E8%A7%A3%E3%82%B7%E3%83%AA%E3%83%BC%E3%82%BA-%E6%9F%B4%E7%94%B0%E6%9C%9B%E6%B4%8B/dp/4815603197/ref=sr_1_2?__mk_ja_JP=%E3%82%AB%E3%82%BF%E3%82%AB%E3%83%8A&crid=1BG3JS7CKMZA0&keywords=Python%E3%81%A7%E5%AD%

「新・明解Pythonで学ぶアルゴリズムとデータ構造」で勉強日記#4

[前回の続きです](https://qiita.com/drafts/30204050ab7507e0671e/edit)
【出典】[「新・明解Pythonで学ぶアルゴリズムとデータ構造」](https://www.amazon.co.jp/%E6%96%B0%E3%83%BB%E6%98%8E%E8%A7%A3Python%E3%81%A7%E5%AD%A6%E3%81%B6%E3%82%A2%E3%83%AB%E3%82%B4%E3%83%AA%E3%82%BA%E3%83%A0%E3%81%A8%E3%83%87%E3%83%BC%E3%82%BF%E6%A7%8B%E9%80%A0-%E6%96%B0%E3%83%BB%E6%98%8E%E8%A7%A3%E3%82%B7%E3%83%AA%E3%83%BC%E3%82%BA-%E6%9F%B4%E7%94%B0%E6%9C%9B%E6%B4%8B/dp/4815603197/ref=sr_1_2?__mk_ja_JP=%E3%82%AB%E3%82%BF%E3%82%AB%E3%83%8A&crid=1BG3JS7CKMZA0

ＡＩシステムトレード開発　PIX2PIX後編

https://qiita.com/EasyCording/items/3cc0b0429098894e7c3b

# 状況

* ブログ更新 →　いちおう検討中のコンセプトを記載。　http://1969681.blog66.fc2.com/blog-entry-637.html
* 予測モデルの検証 　→　なかなか、良さそうな感触を得た。
* データ形式の変更　→　昨夜からランニング中　→　本日中に次報告できそう。　

# 報告
　ひとまず、EUR-USDのTEST画像、１０枚について、画像からチャートの復刻を行う。
* PIX2PIXの実行コマンドは、サイトからの転機
* エポック数は、2つのパラメータで与える
* GPUは二枚を使用

“`batch.sh
>python train.py –dataroot ./datasets/facades –name facades_pix2pix –model pix2pix –direction AtoB –display_id 0 –batch_size 32 –gpu_ids 0,1 –n_epochs_dec

Flask-SQLAlchemyで「could not convert string to float」エラー

# まえがき
PythonでFlask-SQLAlchemyを使っているときにエラーが発生して、解決に少し時間がかかったので備忘として記載します。
(解決してみれば非常に初歩的な事象でしたが…)

# やろうとしたこと
Flask-SQLAlchemyでDB、テーブルを作成し、CSVから取り込んだ値を初期値として追加しようとしていました。

データは以下のような形です。

|name(文字列)|level(int)|difficulty(float、空の場合がある)|
|:-:|:-:|:-:|
|ほげ|1|0.5|
|ふが|2|空|
|…|||

Modelは以下です。

“`python:Model
class Hoge(db.Model):
id = db.Column(db.Integer, primary_key=True)
name = db.Column(db.Text)
level = db.Column(db.Integer)
difficulty = db.Column(db.Float)
“`

追加する部分のコードは以下です。

“

【令和最新版】画像分野のDeep Learning (Computer Vision) 初心者向け資料

#はじめに
本記事は、2022年3月に修士課程を修了する私が学部4年から3年間で学んできた知識について経験的なイメージ（偏見）を携えて、修論とは別になんとなくまとめてみようとするものです。

本記事は理論メインになります。
実装のプログラミングは多少話題にしてますが、そちらをしっかり学びたい方にはそれほど役に立たないと思います。ご了承ください。

一応、以下のような人をターゲットとして書いています。

– 新たに学び始める人
– ざっくり分野の概要を知りたい人
– 知識のない人向けに講演などする予定があり参考にしたい人
– とにかく何でもいいから読み物がほしい人

現在、入門書籍や入門記事はたくさんありますが、持論・体験・最新の研究についても触れながら書くつもりなので、少しでも良いなと思っていただければと考えています。
数学的な話も少し出ますが、中学・高校数学レベルがわかれば大丈夫です。

誤字脱字・間違った知識の報告や、感想などコメントお待ちしています。

#目次
1. Computer Visionの様々なタスク
2. Deep Learning(Computer Vision)

FastAPI入門 〜環境構築からMySQL連携まで〜

#FastAPIとは
FastAPIとはAPI作成に特化したPythonのフレームワークです。
Python3.6以上で動作し、簡単にRESTfulなAPIを作成することができます。
また自動で生成されるswaggerUIドキュメントからAPIのテストなども行えます。
#目次
[環境構築](#1-環境構築)
[HelloWorld](#2-helloworld)
[MySQL連携とCRUD操作](#3-データベース連携)

#自身の環境
Ubuntu 20.04 LTS
Python 3.8.10
MySQL 8.0.28
SQLAlchemy 1.4.28

#1. 環境構築
環境構築といってもFastAPIは非常に手軽で、pipでインストールするだけで簡単に使用することが出来ます。

##install
“`
pip install fastapi uvicorn
“`
インストール出来ましたか？
今回はfastapi_sampleディレクトリを作成し、そちらにプログラムを置くことにします。

“`
mkdir fastapi_sample
touch main.py
“

【python初心者】matplotlib、seabornで箱ひげ図を描く

いつもわからなくなってしまうのでメモ。

“`Python:
# 必要ライブラリのimport
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

# matplotlib日本語化対応
import japanize_matplotlib

#今回はirisを使用
df_iris = sns.load_dataset(“iris”)
columns_i = [“がく片長”,”がく片幅”,”花弁長”,”花弁幅”,”種別”]
df_iris.columns = columns_i

display(df_iris.head())
“`

# 基本的な箱ひげ図
### matplotlib活用の場合
.boxplo

ABC214 C問題(python)

#C – Distribution

“`
N=int(input())
i=0
S=list(map(int,input().split()))
T=list(map(int,input().split()))
T1=min(T)
k=T.index(T1)
ans=[0]*N
time=0
time=T[k]
ans[k]=time
time=time+S[k]
k=k+1
count=1
while(N>count):
if k!=N:
if T[k]

gRPC を Envoy でプロキシして Python から使う【2022】

先日 Protocol Buffers + gRPC で我が家の非常食を管理する API サーバーを立ててみました。今まで Python で基本的に Web サーバーを作ってきた筆者が勉強もかねて GoLang + protobuf + gRPC というイマドキな構成で組んでみました。
これを（最近構築した） Kubernetes 環境で本番運用していくにあたって TLS 終端のプロキシを入れようと少し調べたところ Envoy というプロキシが gRPC と親和性が高くよく使われているようなので試してみました。まだ最新の Web 上の情報が少なかったのではまりどころも含めてまとめていきます。

## Protocol Buffers / gRPC / Envoy とは

[Protocol Buffers](https://developers.google.com/protocol-buffers) とは Google が策定した言語・プラットフォーム中立のデータフォーマットで、 API のサーバー・クライアント間で共通の宣言を使って通信するためなどに使われます。 `.proto`

pycodestyleを使ってPEP8に平伏する

こんにちは、夜ご飯は納豆です。

納豆単体でも料理として成立しているのに、キムチやオクラなんかと一緒に食べるとさらにおいしいのでつい連日食べてしまうんですよね。

しかも三パックとかでしか売ってないので続けて食べさせようとしているんじゃないかとか疑ってしまいます。

さて、、納豆を食べ続けていくよりも、Qiitaにまとめていくのを続けていきたいです。

今日は、コーディング規約を守りながら書いていく際に自分的に怒られがちなものを書き連ねていきたいと思います。
※備忘録として書くので詳しいことは実際にコーディング規約を見るのが早いと思います。

# コーディング規約について
* コーディング規約は、必ずしも順守しなくてはいけない(守らなかったら罰金！とかではなく)ものではないが守ることでより読みやすく、一貫性のあるコードを書くためのものです。
* 各プログラミング言語のコーディング規約
どの言語にもコーディング規約なるものが存在します。[^1]
* Pythonでは通称PEP8(ペップエイト)と呼ばれる[ドキュメント](https://www.python.org/dev/peps/p

Pythonなどを学べるサイト備忘録

Pythonや機械学習などのコンテンツについて自分が学ぶ際の参考にしているサイトについて、ふとまとめたくなったのでまとめます。
随時追加予定

####東京大学　数理・情報教育研究センター　「Pythonプログラミング入門」
Pythonの基礎を押さえた上で、代表的なライブラリから機械学習の基礎まで扱っています。
リンク先のページでは、HTML版やColab版、Jupyter版も提供されているので、好きな形で閲覧できます。
Google Colabという無償の実行環境でPythonコードを手軽に実行できるので、Pythonの環境を作らずともPythonについて学ぶことができます。

[東京大学　Pythonプログラミング入門](https://sites.google.com/view/ut-python/%E3%83%9B%E3%83%BC%E3%83%A0)

####京都大学　「Pythonプログラミング演習」
東大のものと比べると文字が大きくて図版が豊富であり見やすい印象です。
Colabノートなどは用意されていませんが、環境構築から説明されているので、Python及びプログラ

Pysparkのnull値の扱いと操作について

本記事は、Pyspark操作時のnullの扱いや、nullに関わる関数の実行結果について、簡単にまとめたものとなっております。

# 0 データ準備
各操作では、以下のデータフレームを使用して行うものとする。
(データフレームの名前は**df**とする。)

| id | item_name | price |
| —- | —- | —- |
| 001 | apple | 100 |
| 002 | banana | 80 |
| null | orange | 120 |
| 004 | peach | null |

# 1 実行例

### ①nullを含む値の並び替え

Pysparkでは、`sort()`や`orderBy()`の使用時、デフォルトの場合ではnullが先頭に来るように並び替えられる。

“`ruby:Pyspark
df1 = df.orderBy(“id”)
display(df1)
“`
**実行結果**

| id | item_name | price |
| —- | —- | —-

[py2rb] tempfile

# はじめに
移植やってます。
( from python 3.7 to ruby 2.7 )
# tempfile (Python)
“`python
import tempfile

def test_tmpfile_text(self):
with tempfile.TemporaryFile(mode=’r’) as f:
self._check_file_object(f, False)
“`
おおぅ

https://docs.python.org/ja/3.7/library/tempfile.html
# どうすRuby
“`ruby
require ‘tempfile’

def test_tmpfile_text
Tempfile.open(“temp”){ |f|
_check_file_object(f, false)
}
end
“`
https://docs.ruby-lang.org/ja/latest/class/Tempfile.html

気になるのは、`te

Amazon Comprehendの使い方メモ

Amazon Comprehendの使い方メモ

◆AWSのIAMでcomprehendへのアクセス権限を付与しておく
↓検索窓で「IAM」を検索＆押下

↓左ペインの「ユーザ」
　「アクセス権限の追加」押下

「既存のポリシーに・・・」を選択

「Compreh

[py2rb] warnings.catch_warnings(record=True)

# はじめに
移植やってます。
( from python 3.7 to ruby 2.7 )
# warnings (Python)
“`python
with warnings.catch_warnings(record=True) as w:
warnings.simplefilter(‘always’)
result = aux._check_use_index(fo, None, None)
self.assertEqual(len(w), 0)
“`
やっていることは、警告を発生させてその回数を確認している様子。

https://docs.python.org/ja/3.7/library/warnings.html
# どうすRuby
“`ruby
module Warning
def self.warn(message, category: nil)
@count += 1
end

def count
@count
end

def re

Jupyter Notebook上でCythonを使用して高速化を行う

本記事は
https://qiita.com/pashango2/items/45cb85390193d97523ca
を参考にしています。
#環境
環境は以下の通りです。
windows10
jupyter core : 4.5.0
jupyter-notebook : 6.0.0
qtconsole : 4.5.1
ipython : 7.6.1
ipykernel : 5.1.1
jupyter client : 5.3.1
jupyter lab : 1.0.2
nbconvert : 5.5.0
ipywidgets : 7.5.0
nbformat : 4.4.0
traitlets : 4.3.2
cython 0.29.12
Python 3.7.3
適宜ご自身の環境に合わせて下さい。
#手順
1. Visual Studio 2019 バージョン16.3 Communityをダウンロードします。

https

DeZeroによるVGG16のファインチューニング

## 最初に

[ゼロから作るDeep Learning ❸――フレームワーク編](https://www.oreilly.co.jp/books/9784873119069/)の写経が大体終了～(理解したとは言っていない)。

せっかくなので、[DeZero](https://github.com/oreilly-japan/deep-learning-from-scratch-3)を使ってみたいと思います。
テーマとしては, VGG16のファインチューニングをやってみます。
元ネタは[pytorchチュートリアル](https://github.com/YutaroOgawa/pytorch_tutorials_jp/blob/main/notebook/2_Image_Video/2_1_transfer_learning_tutorial_jp.ipynb)なんで、そちらも参照ください。

画像はアリとハチ、それぞれ120枚程度で学習させていますが、ほかのデータでも同じようにできるはずです…

## 画像の準備

DeZeroはversion 0.0.13で,goo

ModuleNotFoundError: No module named ‘apt_pkg’

Google先生に聞いて見つけた解決法がどれもだめだったので、1つのケースとしてメモ的に残しておこうかと。

Ubuntuなどで、デフォルトのPythonとは違うPythonをインストールし、update-alternatives でデフォルトを変更した場合、apt updateを実行すると、標題のような
“` ModuleNotFoundError: No module named ‘apt_pkg’ “`
が表示されてうまくいかないことがあります。
例えば、Python3.8 が標準のときにpython3.8を入れて切り替えたようなときですね。

検索でよくみつかるのは/usr/lib/python3 の apt_pkg関係の .so をシンボリックリンクで、という解決法ですが、これでうまくいかなかったので、(たぶん相当怪しい)力技で解決しました。
例に挙げたように、システム標準はpython3.6 で、python3.8 を追加インストール、update-alternatives でpython3 がpython3.8 になっているような状況とします。

“`
sudo v

線形回帰：Boston Housing

# はじめに

Scikit-Learnで線形回帰をやってみます。一連の流れのコードを書いてみます。

# データセット

“`Python:
import numpy as np
import pandas as pd
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error, r2_score
from sklearn.model_selection import train_test_split
import matplotlib.pyplot as plt

# 1. Dataset Load

datasets = ‘datasets/Boston.csv’
df = pd.read_csv(datasets)

print(f’columns: {df.columns}’)
print(df.head())
print(df.describe())
“`

“`Python:結果
columns: Index([‘crim’, ‘zn