Python関連のことを調べてみた2022年06月13日

AirflowのタスクログをS3に保存する方法

# はじめに

Airflowのタスクログの保存先は、簡単に S3 や Google Cloud Storage のような外部ストレージに設定することができます。本番環境では、こうした外部ストレージを活用することで、ディスク容量不足による障害を防ぐ予防効果もあります。私はこの理由で、Airflow をクラウド上でデプロイする際に、タスクログを必ず外部ストレージに保存しています。

https://qiita.com/hankehly/items/1f02a34740276d1b8f0f#task-logging

この記事では、公式 [docker-compose.yaml](https://airflow.apache.org/docs/apache-airflow/stable/docker-compose.yaml) で開発環境を立ち上げて、[remote logging](https://airflow.apache.org/docs/apache-airflow/stable/logging-monitoring/logging-tasks.html) 機能で S3 にタスク

Python環境構築(pyenv+poetry)

Macbookを新調したので，pyenvとpoetryを使ったpythonの環境構築を備忘録的にまとめている．
基本的に公式ドキュメントに従っているだけなので，記事としてまとめる必要はないと思うが，複数台で環境構築する必要が出てきたためチートシート的な要素でまとめた．

# pyenv

[公式ドキュメント](https://github.com/pyenv/pyenv#basic-github-checkout)
## インストール

“`bash
git clone https://github.com/pyenv/pyenv.git ~/.pyenv
“`

## パスを通す

“`bash
echo ‘export PYENV_ROOT=”$HOME/.pyenv”‘ >> ~/.bash_profile
echo ‘command -v pyenv >/dev/null || export PATH=”$PYENV_ROOT/bin:$PATH”‘ >> ~/.bash_profile
echo ‘eval “$(pyenv init -)”‘ >> ~/.bash_

スマホで写真を撮るだけで植物の情報をゲット！！（機械学習初心者に便利なツールも公開）

## 自宅にある植物の育成情報を簡単に知りたい
皆さんのおうちには観葉植物がありますか。私の自宅にはたくさんの観葉植物があるのですが、植物ごとに適した環境や水の量が異なり植物を枯らしてしまうことが多々ありました。そのため、スマホのカメラで植物の写真を撮影して適切な水の量や直射日光は大丈夫かといった情報がすぐに得られたらいいなと思いこのWebアプリを作りました。
また、明日の天気と気温もわかるのでそれを参考に植物を窓際に置くか、日の当たらないところに置くかなどの検討材料にしてもらえたらと思います。

まずは以下の動画を見てください！
**↓使い方を紹介した動画↓**

https://www.youtube.com/shorts/IdIpypDFd50

## 使い方
1.スタートボタンを押す
2.撮影が始まるので枠内に収める
3.撮影が終わると植物の育成方法を教えてくれる

という流れです。実際のアプリのURLがあるので自身のスマホでぜひ使ってみてください～

**↓アプリのリンク↓**

https://plant-judge.netlify.app

## 作成手順
### ①観葉

Leafmap/Open3Dを使って掛川城の大規模点群データ（5GB）をPythonで可視化してみよう！

※上の画像は掛川城の点群データをCesiumというGoogleEarthのようなライブラリを用いてJavaScriptで可視化した「掛川城の点群データってこんな感じだよー」っていうのを示したイメージ画像になります。（この記事ではJSの話までは取り扱いません）

※点群データがどんなものか確認したい方はデモサイトを用意していますので、こちらからどうぞ！
https://demo-3d.mierune.io/

## las/lazデータとは

みなさん、lasデータってご存知でしょうか？
主に三次元のポイントデータの集合の交換形式として利用されているバイナリフォーマットで、主にiPhone12などから導入され、手軽に利用できるようになったLiDERデータの標準として利用されており、lazはそのlasデータの圧縮形式になります。

lasデータの仕様

【Python】SQLAlchemyでMySQLに接続する

今回は、Pythonで簡単にSQLを実行できる`SQLAlchemy`という`O/Rマッパー`を使用し、実際にMySQLとマッピングしてCSVファイルのデータを追加したり、CRUD操作をする方法について実装を行ったので、備忘録として残しておこうと思います。

# 前提
– SQLAlchemyがインストールされていること
– mysql-connector-pythonがインストールされていること

上記モジュールがインストールされていない場合は、pipにてインストールを実行してください。

“`terminal
% pip install SQLAlchemy
% pip install mysql-connector-python
“`

# DBと接続しCSVファイルのデータを追加する
まずは、DBとの接続情報を環境変数として定義します。

## 環境変数の定義
私の場合、`.env`に必要な情報を環境変数として定義し、config.pyで読み込みと定義を行なっています。

ここに`PORT`が必要となる方は、PORTも定義してください。

“`python:config.

東京都環境局で発表されている等価騒音レベルを機械学習を組み合わせて分析。

機械学習を組み合わせて分析を行うにあたって
モデルの選定や目的がわからなくなることを防ぐための記録

##データ分析の目的とは。

東京都の騒音状況を理解・把握したい。

###視点①理解思考型or応用試行型？
理解思考型の考えから東京都の騒音状況の性質について考える。
→理解思考型モデルの最終的な目標としては現象・データ生成ルールの理解。

###視点②データ・変数の選択と調整
＊理解思考型モデリングにおいての注意を踏まえ。
1.変数に関して次元の呪いがないかを確認。
2.離散値変数or連続値変数かを確認。
3.フィッシャーの三原則について

理解思考型モデリングにおいての仮定
「昼間等価騒音レベル８０以上の地域に説明変数の値の相関性があった場合、
騒音状況が〜であるとわかる」

目的変数→昼間等価騒音レベル80db以上
説明変数→自動車騒音、高架下、線路付近、居酒屋などの飲食店
目的変数のメカニズムについて考える場合！
・確率モデルを利用する。
・決定論的な数理構造を用いて変数の振る舞いを記述する

|　　|離散値変数or連続値変数|
|:-:|:-:|:-:|:-:|
|昼間等価

Dockerを用いたPythonとNeo4jの開発環境構築

Dockerについて勉強するついでにPythonとNeo4jの開発環境を作ろうと思ったので記事にしてみました。
docker-composeを用いて、Neo4jのコンテナとPythonのコンテナを用意し、開発環境を作ります。

今回のプログラムはgithubで公開してます。

https://github.com/Ryo412/neo4j_docker
# 目次
・[前提条件](#前提条件)
・[要素技術](#要素技術)
・[ディレクトリ構成](#ディレクトリ構成)
・[Dockerfile](#dockerfile)
・[docker-compose](#docker-compose)
・[コンテナ作成](#コンテナ作成)
・[動作テスト](#動作テスト)

# 前提条件
本稿はVisual Studio Code上でRemote-Containersを用いることを前提としています。
### 各version
Python: 3.10.5
Neo4j: 4.2.5
neo4j-driver: 4.4.4
# 要素技術
本稿ではDockerとNeo4jを利用しています。
### Doc

Pythonを使って精神世界を計測してみる①

怪しいタイトルからはじまりましたが、[ヘミシンク ゲートウェイ・エクスペリエンスシリーズ](https://www.aqu-aca-shop.com/SHOP/GE074CNJ.html)を使った誘導瞑想時の脳活動を計測してみようというものです。

ヘミシンクとはバイノーラルビートと呼ばれる左右から異なる周波数の音をヘッドホンで聴くことによって、左右の周波数差分だけ脳波が誘導されるという技術になります。
バイノーラルビートによる脳波誘導の検証は[こちら](https://qiita.com/tatsui/items/6308563300bebd8ef61b)の記事を参照してみてください。

## ヘミシンクとは
「ヘミシンク」とは超心理学者ロバート・モンローが設立した「モンロー研究所」の体外離脱を体験するために開発された音楽であり、米陸軍の諜報部に籍を置いていたウェイン・マクドネル氏によって1983年に評価が行われ、2003年にCIAが機密指定を解除しています。
* [Analysis and Assessment of Gateway Process（ゲートウェイプロセスの分析と評価

初心者がinstagramの自動いいね作ってみた

概要
pythonを触り始めて1ヶ月ほど経ったのでアウトプットをしてみる

流れ
インスタへの自動ログイン
↓
タグのページへ移動
↓
最新の投稿のパス？を取得
↓
いいね、次の投稿へのスワイプを実行
（ループを回す）

#必要なライブラリのインポート
“`python
from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager
import time
“`
“`python
#webdriverの起動
browser = webdriver.Chrome()
url = ‘https://www.instagram.com/explore/’
browser.get(url)
time.sleep(3)
keyword_tag = ‘タグ名’
username = ‘ユーザーネーム’
password = ‘パスワード’
num_nice = 100

#ログイン処理
elem_username = browser.find_element_by_name(

Custom Vision 物体検知モデル⇒画像切抜き⇒分類モデルを自動化するAzure Functions（Python）

# はじめに

Custom Vision をはじめ、コードを書かずにAIモデルが作成できるサービス/ツールはたくさんあり、AIを活用して自社の業務課題を解決しようと挑戦している方も多いことと思います
実際には、1つのAIモデルだけで実装しようとすると業務利用に達するレベルになかなかいきませんが、複数のAIモデルを組み合わせることで精度高く実現することができるケースが多く、
本例はCustom Vision の物体検知モデルと分類モデルを組合わせた2ステップアプローチで、画像系AIではよく使われている効果的なアプローチです
※実際は部品や装置の異常検知シナリオですが、フルーツとりんごで抽象化表現で説明させて頂きます

本記事では、下図の点線赤枠内の物体検知モデル⇒画像切抜き⇒分類モデルを実装するメイン処理のPythonコードと、それをAzure

LightGBMのdartモードでEarlyStoppingを使う

LightGBMで`boosting=”dart”`を指定すると、`early_stopping_rounds`を指定してもdartモードでは使えないという趣旨のwarningが表示され、使うことはできない。
dartでは、学習中に過去に作った木も変更されるため、スコアが悪化したときに以前のベストイテレーションで止めても、そのときのスコアを再現できないためである。
今回は、callback機能を利用して無理やりEarlyStoppingを実現させる。

# callbackクラス
[lightgbmのcallbackのソースコード](https://lightgbm.readthedocs.io/en/latest/_modules/lightgbm/callback.html)を参考に、次のようなクラスを作成した。

“`python
import lightgbm as lgb
import pickle

class DartEarlyStopping(object):
“””DartEarlyStopping”””

def __init__(self, da

バイノーラルビート使用時の脳波を計測してみる

最近はマインドフルネスにハマっていて瞑想を日課としています。
はじめは自己流の瞑想方法だったのですが、やり方がこれで正しいしいのか？と気になって色々と調べていくうちにバイノーラルビートによる誘導瞑想というものに出会いました。
ある程度効果は感じられるのですが、脳波が本当に誘導されているのかという疑問から実際に計測してみることにしました。

## 使用したセンサーとアプリケーション

* [Muse2](https://choosemuse.com/muse-2/)
* [Mind Monitor](https://mind-monitor.com/)

## データフォーマット
はじめにMind-monitorで収集したデータを以下の形式のCSVファイルに保存します。
正しく装着できていない場合のデータを除くために`hsi`へセンサーの状態を保存しています。
`aux`の値は今回使用しません。

“`
“timestamp”, “tp9”, “af7”, “af8”, “tp10”, “aux”, “hsi”
1652711580.4

Seleniumを利用してEdgeを自動化する(初心者備忘録)

## １．はじめに
業務で毎月Webアプリのテストを実施しているのですが、
その自動化を進めるにあたり、自身のPCでも自動化できないかと考えました。
そこで、今回実際にやってみることにしました。
インターネットで「Edge 自動化」で調べると「Selenium」「Python」を使用することで
自動化できるようだったので、今回はその2つを使用して自動化を試してみました。

——
## ２．環境
今回は下記の環境で動かしてみました。
・Microsoft Edge バージョン 102.0.1245.39
　※Chromeでもできるようですが今回はEdgeで。
・Edge WebDriver
　※上記Edgeのバージョンと同じDriverをインストールする
・Python 3.10.5
・Selenium

——
## ３．Seleniumとは
SeleniumはWebアプリケーションをテストするためのフレームワークで、
Webブラウザの操作・制御を自動化することができます。

今回は２．で記載した

櫻坂４６の顔分類アプリを作りたい。

# 1.きっかけ
顔検出、画像分類に興味がありkaggleなどを使って画像分類をしておりましたが今回このようなQiitaの記事を見つけたので自分でも作ってみようと思いました。

https://qiita.com/su-0924/items/2adb3962646099bb7a4
# 2.サービス概要
Reactの練習と画像分類を使用して大好きな櫻坂４６のアプリを作ってみました。


# 3.使用技術
## バックエンドと画像分類、集め
* python
* OpenCV
* numpy
* pytorch
* FastAPI

## フロントエンド
* javascript
* React
* cs

## インフラ
* Heroku

# 4.画像分類機能作成
## 4.1スクレイピング
基礎知

Python JupyterLab 統計学①　基礎統計量

# PythonのJupyter Labで学ぶ統計学
統計学の勉強をしようと参考書を買ってみたのですが、公式やデータを眺めながら、説明を覚えるだけになってしまい面白くなくなってしまいました。

そこで、統計処理や数値計算を得意とするプログラミング言語であるPythonを使用し実際にデータ処理や表出力を行いながら学習を進めようと思いました。

統計処理の方法はこちらのサイトを丸写ししています。
[PythonエンジニアによるPython3学習サイト](https://www.python.ambitious-engineer.com/application#i-4)

基礎的な内容は参考書です
[統計学検定2級](https://www.amazon.co.jp/%E6%94%B9%E8%A8%82%E7%89%88-%E6%97%A5%E6%9C%AC%E7%B5%B1%E8%A8%88%E5%AD%A6%E4%BC%9A%E5%85%AC%E5%BC%8F%E8%AA%8D%E5%AE%9A-%E7%B5%B1%E8%A8%88%

カスタマーアナライザー仕様書 for windows

更新日2022/6/12

## はじめに
## Python
## OpenCV

【個人開発】Streamlitで日経225株価可視化アプリを作成してみた

【はじめに】

ここ最近Pythonに慣れてきたので、Webフレームワークの「Streamlit」を使って簡単なWebアプリを作ってみたので記事にまとめました。
実際に作成した、日経225銘柄の株価可視化アプリのURLを貼っておきます。

https://share.streamlit.io/nakachan-ing/finance-streamlit/app.py

本記事の内容

• 作成背景
• 使用技術
• 画面説明
• 実際に作成してみた感想

【作成背景】

最近、副業が解禁になりましたが始める人も多いと思います。
ですが、まだ副業を禁止している会社も多いです。
そんな中で、副業ではなく貯蓄を増やすためにできることは株投資だと思います。
投資をこれから始めようと思っている人もしくは既に投資をしている人のために、手軽に銘柄と株価を確認できるアプリがあればと思い作成しました。

【使用技術】

Streamlitを用いることでW

[2022年]初心者におすすめのPython書籍(参考書)

初心者におすすめのPython書籍を紹介します。
プログラミングやIT系の勉強するときはKindleや電子書籍で勉強するのがおすすめです。
***
[Pythonで学ぶあたらしい統計学の教科書 第2版[Amazon]](https://amzn.to/3zwF5wL)
統計学の基礎から統計モデリング、機械学習の入り口までしっかり学べる！
– 第1部　統計学をはじめよう
– 第2部　PythonとJupyter Notebookの基本
– 第3部　記述統計
– 第4部　確率と確率分布の基本
– 第5部　統計的推定
– 第6部　統計的仮説検定
– 第7部　統計モデルの基本
– 第8部　正規線形モデル
– 第9部　一般化線形モデル
– 第10部　統計学と機械学習
***
[Kaggleで磨く 機械学習の実践力[Amazon]](https://amzn.

Pythonを無料で学習！？

## Pythonを無料で取り組むことができる？
Pythonの環境構築を超簡単に取り組むことができる。
それは**google drive**を使用する方法である。

google driveのマイドライブを開いた状態から

※一部写真の切り取りで分かりにくくてすいません?

上記写真の新規を押して「その他」→「**Google Colaboratory**」を選択。
「**Google Colaboratory**」がない場合は、アプリを追加から追加する。

【強化学習】分散強化学習を解説・実装（GORILA・A3C・Ape-X）

この記事は自作した強化学習フレームワークであるSimpleDistributedRLの解説記事です。
概要は[こちら](https://qiita.com/pocokhc/items/a2f1ba993c79fdbd4b4d)です。

フレームワークのタイトルにも入れている分散強化学習についての解説です。

# はじめに

プログラムを並列処理させて早くしようというのはよくある話で、それを強化学習にも応用しようというのは自然な流れです。
ただ、強化学習では学習したパラメータを元にアクションを決めるので単純に並列処理させることはできません。

分散強化学習の流れとして、GORILA・A3C・Ape-Xのアーキテクチャを紹介し、最後に本フレームワークのアーキテクチャを紹介します。

# GORILA(General Reinforcement Learning Architecture)

論文：[Massively Parallel Methods for Deep Reinforcement Learning](https://arxiv.org/abs/1507.04296)