Python関連のことを調べてみた2022年04月23日

キカガク「AI人材育成長期コース」で学べること（書き途中）

# コースの内容
### Pythonの基礎
– 環境構築
– Pythonの基礎
– PandasとMatplotlibの基礎

### 機械学習の基礎1
– 教師あり学習：回帰1 ／ 回帰2
– 線形回帰
– 単回帰分析
– 重回帰分析
– Ridge 回帰（リッジ回帰）
– Lasso 回帰（ラッソ回帰）
– 非線形回帰
– 決定木（回帰木）
– ランダムフォレスト
– ニューラルネットワーク
– データ前処理1
– データ前処理2

### 機械学習の基礎2
– 教師あり学習：分類1
– k- 近傍法
– 決定木（分類木）
– ランダムフォレスト
– 非線形サポートベクトルマシン
– ニューラルネットワーク
– 教師あり学習：分類2
– Accuracy（正解率）
– Precision（適合率）
– Recall（再現率）
– F1 score（F 値）

### 機械学習の基

コマンドラインでpython -〇 の -〇 とは

# コマンドラインでpythonを実行するときの-〇とは

-〇は、インターフェイスオプション（オプション）と呼ばれ、
コマンドラインでpythonを実行するときにつけるオプションである。
オプションは20種類ぐらいあるが、-m 以外あまり使うことはない。

### よく使う-mは何か
pythonモジュール(パッケージ)を実行するためのオプション
どこにあるモジュール(パッケージ)を実行できるかは以下で確認できる

“`
C:\Users\user_name>python
>>> import sys
>>> sys.path
[”, ‘C:\\Users\\user_name\\AppData\\Local\\Programs\\Python\\Python39\\python39.zip’, ‘C:\\Users\\user_name\\AppData\\Local\\Programs\\Python\\Python39\\DLLs’, ‘C:\\Users\\user_name\\AppData\\Local\\Programs\\Python\\Python39\\lib

OpenWeatherから取得した天気情報をGCS、BigQueryに蓄積する

　データ可視化や分析をする上で練習用データが欲しかったので、勉強も兼ねて無料で利用できるOpenWeatherで天気情報の収集～蓄積を実装しました。

## 処理概要
　大まかな流れは以下の通りです。

– Cloud SchedulerでCloud FunctionsのトリガーURLにHTTPリクエストを投げる
– Cloud FunctionsでOpen Weather One Call APIにHTTPリクエストを投げ、レスポンスとしてjson形式の天気情報を受け取る
– json形式の天気情報をndjson形式でCloud Storageに格納する
– Cloud Storageにndjson形式のファイルが作成（ファイナライズ）されたら、Cloud Functionsでそのイベントを検知し、BigQueryにインポ

Hodgkin-Huxleyモデルで膜電位シミュレーション (Python実装)

細胞膜電位の変化を記述する数理モデルである、「Hodgkin-Huxleyモデル」(1952年に提唱、1963年にノーベル生理学・医学賞を受賞) について、その**物理的意味の解説**と**Pythonを用いた実装例**を紹介する。

参考文献等
[1] [東京大学大学院 集中講義](https://www.youtube.com/watch?v=3Q9hbjPxEdE) (モデルの物理的意味を解説)
[2] [Juliaで学ぶ計算論的神経科学](https://compneuro-julia.github.io/neuron-model/hodgkin-huxley.html) (実装の参考)
[3] [脳神経細胞の活動を数学的に書くHodgkin-Huxleyモデルについて](https://kenyu-life.com/2018/11/26/hodgkin-huxley/) (概説)

# 膜電位の基礎
細胞膜は、細胞内液と細胞外液を物理的に分離し、それぞれのイオン濃度の違いによって膜の内外に電位差が生じることになる(下図左)。外部刺激により電位依存性イオンチャネルが開口するこ

『Python1年生』で勉強中（その3）

## この記事について
『Python1年生』（以下、書籍）でPythonを学習する超初心者の記録です。
後述の「やったこと」にも書いていますが、ようやく書籍を最後まで進めました。
その1, その2に引き続き、超初心者の学習記録ですので、今回も大したことは書いていないと思います。

■ バックナンバー
・[『Python1年生』で勉強中（その1）](https://qiita.com/megrim_q/items/c1417f507e96c1fb7015)
・[『Python1年生』で勉強中（その2）](https://qiita.com/megrim_q/items/333be033e5b4637d0eed)

## 実行環境
| OS・MW | バージョンなど |
|:-:|:-:|
| OS | Windows 10 Pro 21H2 19044.1645 |
| Python | 3.10.4 |
|IDLE |3.10.4|

## やったこと

前回（「その2」）の続きから書籍の最後まで、サンプルプログラムを試しながら読み進めました。
具体的には「第4章 アプリを

ファイルを検索(Everythingを利用)(Windows,Python)

# ファイルを高速で検索する
ファイルを検索するとき、普通はルートから順に再帰的に検索をかけていきます。Pythonではそれに便利なglobと言うモジュールもあります。
# でも
遅っせえです。まあ、当たり前ですよね。あと、glob.globはちょっとアレな所があります。ちょっと色々ハマったし、WindowsだとPathlibしか使わん。なのかもしれません。
# 速くするにはどうすればいい？
一番簡単なのは、インデックスを作成してデータベース化してしまうことです。でも、たかが１アプリのためにわざわざそんな物作る理由も意味もありません。

# WindowsにはEverythingがある！
Everythingと言うソフトがあります。常駐してインデックスを作成しています。便利なソフトなので私は使っています。

https://www.voidtools.com/

このソフトでは、ETPサーバーと言うものを使うことができます。これはちょっと毛が生えたFTPです。
PythonからETPサーバーにアクセスすれば簡単に全ドライブ検索が実装できるんじゃなくね？
と、思ってweb検索してみたので

Loguruでライブラリのログを出力する

[Pythonのライブラリが出力するログを活用しよう](https://www.rhoboro.com/2020/12/29/logging-and-debug.html)
をloguruでやる方法

# logging版

“`py:a.py
import requests
import logging

logger = logging.getLogger()
logger.setLevel(logging.DEBUG)
logger.addHandler(logging.StreamHandler())

try:
requests.get(“https://expired-rsa-dv.ssl.com/”)
except requests.exceptions.SSLError:
logger.info(“SSLError”)
“`

“`
$ python3 a.py
Starting new HTTPS connection (1): expired-rsa-dv.ssl.com:443
SSLError
“`

# loguru版

[Wan

MacのPython環境構築で3系にならないときの解決方法

先日、ふとAIをやってみたいと思い立ち、Pythonの環境構築を行ったのだが、手順通りにやったはずなのに、Pythonのバージョンが変わらない。
__Python2.7.16__ から __Python3.10.2__ にしたいのに、なんでか変更されない。。。。。。

## 環境
PC：Mac
Version：BigSur
shell：bash
　 →bashかzshでインストール方法が若干変わるみたい。私はbashだったので、ここではbashの場合の解決方法

## やりたいこと
Macには初期でPythonがインストールされているが、
__Python2.7.16__ であるため、最新の __Python3.10.2__ をインストール、メインバージョンとしたい

## インストール手順
インストールは以下サイトを参考に実施した
参照：[Pythonの開発環境を用意しよう！（Mac）](https://prog-8.com/docs/python-env)

## 現状
インストールを手順通りに実施した後に、適用バージョンを確認したところ、
期待値としては

“`
$ pytho

Drag And Drop with Django Rest API【Python】

# Assumption

django rest_api has been created

# Introduction

Created API for dragging and dropping category models.

# Flow

* Assign an index if one is not allocated when getting a Category
* Assign an index when creating a Category
* Update the index value of Category

# Setup

Create django app

“`
$ python manage.py startapp category
“`

## setting.py

“`
INSTALLED_APPS = [
.
.
.
‘category’,
]
“`

# Coding

## models.py

“`py
from django.db import models

class Catego

【GPT-2, Twitter API】平沢進氏のツイートを学習して文章生成してみた

## 環境
+ Microsoft Windows 10.0.22000.613（21H2）
+ Windows PowerShell 5.1.22000.613
+ conda 4.12.0
+ Python 3.8.12.final.0
+ tweepy 4.8.0
+ csv 1.0
+ PyTorch 1.11

## はじめに
### 1. モチベーション
+ Twitter API を使ってみたい
+ GPT-2 を試してみたい

### 2. 誰のツイートにするか
まず、どんな文章が生成されたらおもしろいかを考えてみた。ここでの「おもしろい」は、興味を惹かれる、思わず読みたくなる、といった類のものである。個人的には、真面目な雰囲気の文章よりも「意味不明」「シュール」「独特」と言われるような文章を学習して生成するとおもしろいのではないかと思う。なぜなら、生成文に少し不自然な部分があったとしてもそれが良い方向に働くことが多いからである。コウメ太夫氏のツイートもその一例だと思う。

+ [人工知能にコウメ太夫さんのツイートを学習させてみた](https://blog.takuy

M1 Mac (macOS Monterey 12.2.1)でpyenv/Python開発環境構築

# はじめに

先日M1のMBPを入手したので、早速Pythonの開発環境を構築しました。
Inter Macと比べて大きく違うので、昔メモったInter Macの環境構築手順が使えなくなり、新しく環境構築の記事を書こうと思いました。
少しでもお役に立てれば幸いです。

[この記事](https://zenn.dev/osuzuki/articles/380be0f682d72d)では
> Homebrewは使わないで！（動くけど難易度高い）
> pyenvは使わないで！（動かない=2021年2月時点）

と記述していましたが、おそらく2021年2月時点ではHomebrewやpyenvなどはまだM1 Macに対応していない（？）と考えられます。現在(2022年4月)では、少し設定は必要ですが、問題なく動作できるようになりました。

# Homebrew

まずはHomebrewをインストールします

“`shell
/bin/bash -c “$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/i

機械学習エンジニアを始めて4ヶ月目までに知ったことと、その要点

# はじめに

はじめまして。

ICU学部3年で、Sony Computer Science Laboratories, Inc.にてリサーチアシスタントをやっている[Kohei Ohno](https://twitter.com/KoheiOhno3)です。

2021年12月から同社のプロジェクトに長期インターンとして参画し、先輩の方々に大変なご助力を頂きながら機械学習に携わる業務を進めてきましたが、参画から4ヶ月経ち、次第に知識のインプットやPCの設定等、詰め込み作業が一段落してきた雰囲気がしています。

また、最近ありがたいことに新規インターンの方をメンタリング(？)するようなことも増えてきて、自分がプロジェクトに入った直後のことを話させて頂く機会もあるので、せっかくなら自分なりのプラクティスを記事にしてパパッと読んでもらおう、と考えました。

ということで、この記事では**今までに知ったこと**と、**知ったことのうち、作業環境を整えるためのこと**の内容をまとめます。

気づいたら想像の5倍ぐらい長文になってしまいましたが、新人MLエンジニアの方々の参考になれば幸いです。

ラズパイ Raspberry Pi はシーケンサーの代わりになるか

### はじめに
私自身３年ほど前からRaspberry Pi（通称:ラズパイ)を使用し、製造現場で２０台ほど２４時間稼動しておりますが、「ラズパイ Raspberry Pi はシーケンサーの代わりになるか」と題して独断と偏見で以下の内容を纏めてみました。
###### ※あくまでも個人的な見解です。
* 結論
* ラズパイとシーケンサーの違い
* シーケンサーと同様な事をする為にクリアしなければならない課題
* 実例

### 結論
先ず最初に結論を申し上げると条件付きで有りだと思っております。
条件ですが、ラズパイはRaspberry Pi財団が教育を目的として製作した物である為、製造現場での使用は想定しておりません。２４時間過酷な制御が必要な場所では使用は避けた方が良いと思います。
幸い私が製作した装置は今の所故障は発生しておりません。万が一故障しても簡便装置な為、壊れても簡単な修理で復旧する為、工程に大きな損害は発生しません。
もし過酷な制御、大きなシステムをラズパイで行う場合、私自身使った事はないので詳しくは分かりませんがラズパイコンピュートモジュールを組み込

【2022年版】独学でPythonエンジニアになる手順とエンジニアのメリット・デメリット〜実体験を元に解説〜

# はじめに

この記事では筆者の実体験をもとに「独学でPythonエンジニアになる手順」について紹介していきます。

「**独学でPython学習する具体的な手順は？**」

「**Pythonエンジニアになるにはどんなことをすれば良いの？**」

「**実際に独学でPythonエンジニアになった人ってどんなことをしてるの？**」

この記事を読むことで上記の悩みを解決することができます。

この記事を読んでPythonエンジニアを目指していきましょう！

:::note warn
この記事では、以下の記事の「**僕がPythonエンジニアになるまでにしたこと**」について書いていきます。
記事の全体は以下から読めます！（もちろん無料です。）
:::

https://chaldene.net/python-engineer

それでは早速みていきましょう！

# Pythonエンジニアになるまでにしたこと

この章ではPythonエンジニアになるまでに自分がしてきたことを紹介していきます。

時系列に沿って紹介していくので、読んでくれる方の参考になれば幸いです。

それでは早速みて

pyrealsenseでdepthにthread_filterをかける方法

## 目的
↓これの”Score Minimum Threshold”と”Score Maximum Threshold”をpyrealsenseで同じことをしたい


## 方法
“`python

depth_frame = frames.get_depth_frame()
t = rs.threshold_filter(min_dist=1, max_dist=2)
depth_frame = t.process(depth_frame)

“`

### 実行結果

プログラム

“`python
import pyrealsense2 as rs

pipeline = rs.pipeline()
config = rs.config()
conf

PythonでQRコード生成

## はじめに
QRコードを作成する必要があったのですが、Pythonで簡単に生成できたのでメモ。
簡易的な生成コードなのでデフォルトパラメータでの出力となっています。
カスタマイズが必要な場合はドキュメントを参考にしてください。

## 必要なライブラリをインストール
“`
$ pip install qrcode
$ pip install pillow
“`

## 生成コード
“`qr.py
import sys
import qrcode

def generate_qr(data, output):
qr = qrcode.QRCode()
qr.add_data(data)
img = qr.make_image()
img.save(output)

if __name__ == ‘__main__’:
args = sys.argv
generate_qr(args[1], args[2])
“`

## 実行
“`
$ python qr.py <出力ファイルパ

製造業の人に役立つかもしれない情報

## はじめに
筆者は現在メーカーで働いていますが、本格的にコードを書くようになったのは会社入ってからでした(学生時代もちょっとだけ経験したが、大体先輩のコピペ)。

機械学習が普及してきたことから、新しくメーカーに入社した人で上司に言われて~~脅されて~~コード書く必要に迫られた方もいるのでは、と思っています。

自分と同じ立場だった人に向けて、少しでも役立つことが出来たらと。

https://qiita.com/official-events/3f21c92121aa125807b4

## 対象
* メーカーに入社して、機械学習等の業務に触れることになった人
* プログラミング？IT？言葉は聞くけど何それ？だけど勉強する必要がある人

## まとめ
参考になりそうな記事をまとめてみました。Qiita以外の記事も入れています。

#### 製造業でITやプログラミングの知識が必要な理由
[製造業、工場勤務の方もプログラミングを学んだ方が良い！？ITエンジニアへの転職も](https://aoblog-miz.com/factory-workers-learn-programmi

【Python】csv.DictReaderで数値（int型のデータ）を読み込む

# はじめに

プログラミング初学者です．CSVファイルをPythonのcsv.DictReaderで読み込む際に起きたエラーとその解決法を共有します．

# 環境

– Python 3.9.4

“`sh:ターミナル
$ python3 –version
Python 3.9.4
“`

# エラー発生時のコード

– 読み込み対象のファイル

“`csv:food_calories.csv
food,calorie
ramen,443
coffee,7
cheesecake,281
hamburger,300
chickencurry,690
“`

– 先のCSVファイルを読み込むコード

“`python:add_calories.py
import csv

sum_of_calories = 0

with open(“food_calories.csv”) as file:
data = csv.DictReader(file)
for row in data:
name = row[“food”]

【Python】クラスオブジェクトの中身を確認する2つの方法

# はじめに

プログラミング初学者です．Pythonでクラスオブジェクトをそのまま出力しても中身が確認できないことを知りこの記事を執筆するに至りました．

# 環境

– Python 3.9.4

“`sh:ターミナル
$ python3 –version
Python 3.9.4
“`

# クラスオブジェクトをそのまま出力するとどうなるか

こちらのプログラムを動かしてみます．

“`python:weather.py
class Weather:
def __init__(self, name, weather, temperature):
self._name = name
self._weather = weather
self._temperature = temperature

tokyo = Weather(‘東京’, ‘晴れ’, 25)

print(tokyo)
“`

するとこのようになります．

“`sh:ターミナル
$ python3 weather.py
<__main_

【mypy】リストに複数の型のデータを入れてはいけない【Python】

# はじめに

プログラミング初学者です．Pythonで書いたコードをmypyでチェックした際に起きたエラーとその解決方法を共有します．

# 環境

– Python 3.9.4
– mypy 0.940

“`sh:ターミナル
$ python3 –version
Python 3.9.4

$ mypy –version
mypy 0.940
“`

# mypyエラー発生時のコード

キャラクターの名前と身長を格納したリストを身長順に並び替えるというプログラムです．

“`python:sort.py
kimetsu_height: list[list[str, float]] = [
[‘tanjiro’, 165],
[‘nezuko’, 153],
[‘zenitsu’, 164.5],
[‘rengoku’, 177],
[‘inosuke’, 164]
]

sorted_kimetsu_height = sorted(kimetsu_height, key=lambda x: x[1])

print(sor