Python関連のことを調べてみた2023年07月27日

世界最先端の画像処理モデルCoAtNETを自作してcifar10を解いてみた

こんにちにゃんです。
水色桜（みずいろさくら）です。
今回は現在（２０２３年7月27日）、世界最先端の画像処理モデルであるCoAtNETを自作してみようと思います。
記事中で何か不明点・間違いなどありましたら、コメントまたはTwitterまでお寄せいただけると嬉しいです(≧▽≦)

# はじめに

まず今回作成したモデルの精度を示します。
“`
Epoch 1/25
loss: 2.0099 – accuracy: 0.2414 – val_loss: 1.7703 – val_accuracy: 0.3466
Epoch 2/25
loss: 1.6918 – accuracy: 0.3677 – val_loss: 1.5752 – val_accuracy: 0.4208
Epoch 3/25
loss: 1.5531 – accuracy: 0.4261 – val_loss: 1.4964 – val_accuracy: 0.4468
Epoch 4/25
loss: 1.4712 – accuracy: 0.4577 – val_loss: 1.4931 – val_ac

災害時に従業員ごとの避難情報（警戒レベル）を地図で可視化

従業員の自宅と避難情報が発表されている地域の関係を、Python/Jupyter Notebook を使って可視化するためのツール（？）を作成しました。単純に、避難情報が発表/発令された地区の地理的・時系列的な広がりを可視化するためにも使用できます。

https://github.com/ttsukagoshi/employee-evac-map

:::note info
本記事では、2023年7月15日から16日朝にかけて秋田市で発表された避難情報を例にしています。
:::


## こんな人におすすめ
– 会社のリスク対策担当
– 人事担当

「システム担当専用」というのではなく、PythonとJupyter Notebookに関する最低限の知識さえあればどの職種

【ナレッジ】AWS Parameters and Secrets Lambda Extension は、ハンドラー関数内から呼び出さないと400Errorになる

# 0. 要約
タイトルの通りですが、
**[AWS Parameters and Secrets Lambda Extension](https://docs.aws.amazon.com/ja_jp/secretsmanager/latest/userguide/retrieving-secrets_lambda.html) は、ハンドラー関数”外”から呼び出しをすると HTTP 400 Error が出てしまいます。**
そのため、ハンドラー関数”**内**”から呼び出しましょう！

# 1. はじめに…
[2022年10月に、AWS Parameters and Secrets Lambda Extension が発表されました。](https://aws.amazon.com/jp/about-aws

【FastAPI】APIキーを利用したPOSTリクエストのpytestテスト方法

# 概要
FastAPIアプリケーションの特定のエンドポイントの動作を検証するテストコードを実装しました。
本記事では、GETリクエスト、APIキーを使用したPOSTリクエストのテストケースを紹介します。

以前、Djangoで実装した際の記事も作成したので、Djangoで実装する方はこちらご参考ください。
[【Django】APIキーを利用したPOSTリクエストをテストするためのテストケースの作成方法](https://qiita.com/Ryo-0131/items/3a54fcfd4356219e77dd)

# サンプルコード解説
## GETリクエストのテスト

“`main.py
from fastapi import FastAPI

app = FastAPI()
## 以下省略
“`

“`test_main.py
from fastapi.testclient import TestClient
from .main import app

client = TestClient(app)

def test_get_success():
respo

【Python】webdriver-managerのエラーの話

webdriver-managerは、自動でを使用しているブラウザに合わせて、ブラウザのドライバーの適切なVersionのものをダウンロードしてくれるライブラリ。最近、GoogleがChromeのVersionをアップデートしたのに、Driverはちゃんと提供しないから、自動じゃなくなった話。

https://pypi.org/project/webdriver-manager/

最近(2023/7/24)、Chromeのversionがアップデートされてから、このライブラリがエラーを起こすようになりました。

https://github.com/SergeyPirogov/webdriver_manager/pull/537

### エラーの理由
エラーはこんな感じで、version 115.0.5790.110のdriverねえぞってやつ。

“`
Traceback (most recent call last):
File “C:\Users\Documents\Workfolder\Amazon_GetOrders\Amazon_GetOrders.py”, li

python mayaで全てのNURBS Curvesをセットに追加する

“`python
import maya.cmds as cmds

def create_nurbs_curve_set(set_name):
if not cmds.objExists(set_name):
cmds.sets(name=set_name, empty=True)

def add_nurbs_curves_to_set(set_name):
curves = cmds.ls(type=”nurbsCurve”)
if curves:
for curve in curves:
cmds.sets(curve, add=set_name)

def main():
set_name = “Sets”
create_nurbs_curve_set(set_name)
add_nurbs_curves_to_set(set_name)

if __name__ == “__main__”:
main()
“`

気象庁の提供する天気情報に読み仮名を振る

# ラズパイで天気予報

ラズパイに 20×4 のディスプレイをつないで天気予報を表示します
こんな感じの予定

# データ取得

天気予報は気象庁から取得します
このようなURLからjsonがとれます。素晴らしいです
https://www.jma.go.jp/bosai/forecast/data/forecast/130000.json

jsonの例です

“`json
[
{
“publishingOffice”: “気象庁”,
“reportDatetime”: “2023-07-26T17:00:00+09:00”,
“timeSeries”: [
{
“timeDefines”: [
“2023-07-26T17:00:00+09:00”,
“2023-07-27T00:00:00

【google colaboratory】入門：pythonを使ったプログラミングの基礎

## pythonプログラミングのクラウド利用のメリット

こんにちは。今回は、google colaboratoryについて初心者エンジニアに向けて、

### pythonプログラミングのクラウド利用のメリット

#### クラウド処理の利点

クラウド処理を利用することで、以下のようなメリットがあります。

– ハードウェアの制約を気にする必要がない：自分のマシンの性能に依存せず、クラウド上の高性能なサーバーを利用することができます。
– 複数の人との共同作業が容易：クラウド上のノートブックは共有が容易なので、複数の人との協力作業がしやすくなります。
– バージョン管理：クラウド上で開発することで、バージョン管理を簡単に行うことができます。

#### google colaboratoryの特徴

google colaboratoryは、googleが提供するクラウド上で動作するpythonのインタラクティブな開発環境です。以下に、その特徴をいくつか挙げます。

– 無料で利用可能：利用料金は一切かからず、無料で使用することができます。
– gpuの利用が可能：機械学習などの

C/GMRESシミュレーションを3つの言語で作ったので比較してみた

# はじめに
以前、[MatlabでC/GMRESとその亜種のコードを書いてみる記事](https://qiita.com/PozihameBaystar/items/4cb8e82d10fa6e40c196)をアップしました。将来的にはROSでC/GMRESを実装するという目標あったことから、「PythonとC++で書いてみよう」と思い立ち、MatlabのコードをPythonとC++に翻訳？してみました。いずれも経験が浅く、コードとしては無駄の多い箇所もまだまだ残っていると思いますが、どうかご容赦下さい。

# 環境
Python 3.9.6 + NumPy 1.17.4 （windows11）
g++ 9.4.0 + Eigen 3.4.0 （ubuntu20.04 LTS）
Matlab R2023a （windows11）

# 参考文献
自分が参考にした書籍、記事を先に説明します。これらを先に読んでいただけるとわかりやすいかと思います。

C/GMRESについて、以下の書籍、記事を参考にしております。
– [非線形最適制御入門](https://www.coronasha.c

pythonで機械学習を勉強してみる1

# 環境の用意

Free Download

からpythonの実行環境をインストール

# インストール後
インストール後にターミナルプロンプト(PS1)に (base)という文字列が追加される
邪魔なので下記コマンドで削除
“`
$ conda config –set changeps1 False
“`

# 実行環境立ち上げ
実行環境である、jupyter notebookを立ち上げる
“`
$ jupyter notebook
“`

# テスト実行
pythonは簡単にグラフ描画ができるライブラリなどが充実している
立ち上がったjupyter notebookで新規PJを作成し、以下のテストコードで線グラフと棒グラフが描画されることを確認
“`Python
import numpy as np
import matplotlib.pyplot as plt
np.random.seed(1)

x = np.arange(10)
y = np.random.randint(1, 1000, 10)

plt.plot(x,

『Pythonでできる！ 株価データ分析』をVSCodeで写経してみた

# 1.はじめに
片渕著　『[Pythonでできる！株価データ分析](https://www.morikita.co.jp/books/mid/085711)』を写経している。
本書はPythonを使って株価データの分析を行うことをテーマとした書籍である。本書ではツール(IDE、エディタ)としてGoogle Colaboratoryを使っている。Google Colaboratoryの無料版は、動作のレスポンスがなんとなく遅いのと、立ち上げるたびにライブラリをインストールしなければならないので使いたくない。そこでVSCodeで写経を進めたいと思ったが、サンプルコードを写経し始めると思い通りに動かなかったので、その対処法を記述する。

# 2.トラブルと対処法
## 2.1　pandas (pandas_datareader)のplot()メソッドで描画できない
リスト2.7～2.8(p33)
GoogleColaboを使えば何の問題もないが、VSCodeを使うとpandasのplot()メソッドで描画ができない。
調べてみたところ、

　(1)pandas_datareaderは、pa

Jupyter Notebook×MeCabで形態素解析！

こんにちは！今回はこちらの記事を見ていただきありがとうございます。
今回はタイトルにもある通り、最近Jupyter Notebook上で形態素解析エンジンである「MeCab」を動かす機会があったので備忘録として書かせていただきます。

ちなみに余談ですが名称は開発者の好物「和布蕪（めかぶ）」から取られたそうです。([引用](https://ja.wikipedia.org/wiki/MeCab#:~:text=%E5%90%8D%E7%A7%B0%E3%81%AF%E9%96%8B%E7%99%BA%E8%80%85%E3%81%AE,%EF%BC%89%E3%80%8D%E3%81%8B%E3%82%89%E5%8F%96%E3%82%89%E3%82%8C%E3%81%9F%E3%80%82&text=%E9%96%8B%E7%99%BA%E9%96%8B%E5%A7%8B%E5%BD%93%E5%88%9D%E3%81%AFChaSen,%E3%81%8B%E3%82%89%E9%96%8B%E7%99%BA%E3%81%95%E3%82%8C%E3%81%A6%E3%81%84

Django Model操作（自分用メモ）

## Django自分用メモになります
今回はModelの操作についてまとめます

## 開発環境
OS:mac
エディタ：vscode
python:3.10.9
django:4.1.0

### モデルを作成する基本的な構文
“`python:models.py
from django.db import models

class Person(models.Model):
first_name=CharField(max_length=30)
last_name=CharField(max_length=30)
“`

### マイグレーションファイルの作成
マイグレートをする前にマイグレーションファイルを作る作業が必要
マイグレーションファイルとはmodel.pyに書かれた内容をDBに保存できる形に処理をされたファイルのこと
“`:ターミナル
$ python manage.py makemigrations <アプリ名> –name <つけたい名前>
“`
python manage.py makemigrationsだけでも可
マイグレーショ

MacBook(M2)にインストールしたStable DiffusionのAPIをPythonで呼び出して画像を生成してみた

[Supership](https://supership.jp/)の名畑です。今期アニメの[AIの遺電子](https://ai-no-idenshi.com/)が原作連載開始されたのは8年近く前なわけですが、現代においては、さらに迫って感じられます。

## はじめに

前回の記事[Stable Diffusion web UIをMacBook(M2)にインストールして画像の生成をしてみた記録](https://qiita.com/nabata/items/81dcc430aa03fc0b0f45)では**web UI**(ブラウザ)を経由して[Stable Diffusion](https://ja.stability.ai/stable-diffusion)の画像生成を行いました。

今回は**web UI**を経由せずに、PythonからローカルのAPIを叩いて画像の生成を行ってみます。

## 環境設定

[前回の記事](https://qiita.com/nabata/items/81dcc430aa03fc0b0f45)で行った環境構築が完了していることが前提です。

箱庭でUnityの電車をマイコンシミュレーション環境で動かそう

EV3で実現した電車と信号を、Unityとマイコンシミュレーションを連携させて動かせるようにしました。

# 前提とする環境
現時点では、以下の環境を想定しております。

## Unity

* Unity Hub
* Unity Hub 3.4.1
* Unity
* Unity 2021.3.7f1
* Blender
* Blender v2.9.3以降

なお、Unityおよび Unity Hub, Blender はインストールされていることを前提として解説します。

## Windows 環境

* Windows10 Home, Windows 11
* WSL2/WSLg/Ubuntu20.0.4
* WSL2/Docker Engine
* VSCode
* マイコンの制御プログラムの編集／ビルド用に使います。

# 事前準備

Windows版では、WSL2を利用しますので、事前にインストールをお願いします。
また、インストール完了後、端末上で以下のコマンドを実行して、ネットワークツール(routeやifconfigコマンド)をインストールしてくだ

Python環境構築チートシート

# pyコマンド
“`python:environment_py.py
# 起動バージョン確認１
> py –list-paths
Installed Pythons found by C:\Windows\py.exe Launcher for Windows
-3.10-64 C:\Python310\python.exe *
-3.7-64 C:\Python37\python.exe

# ※C:\Windows に py.ini を配置
# 起動バージョン確認２
> py –list-paths
Installed Pythons found by C:\Windows\py.exe Launcher for Windows
-3.10-64 C:\Python310\python.exe
-3.7-64 C:\Python37\python.exe *

# 仮想環境の作成
> py -3.10 -m venv wakasama

# 仮想環境の有効化
> .\wakasama\Scripts\activ

【Python】叱られたので”import *”が嫌われる理由を調べてみた

# まえがき
初めまして、もしくはお久しぶりです。Halcyonです。
部活にて、Pythonのプログラムを書く時に`import *`文を使ったことを顧問に怒られました。
その場では顧問の説教を納得したふうに聞いていましたが、正直腑に落ちなかった(競プロでは普通に使ってるし…)ので、なぜ非推奨なのかをしっかりと調べてみました。

~~多分怒られた本質は先輩の書いたプログラムを勝手に書き換えたことです。その点はめちゃくちゃ反省しています。~~

# 言いたいこと
* 使っている関数がわかりにくくなり、コードの可読性を下げる
* 無駄な関数までインポートしてしまい、名前空間を汚染する
* バグを潜ませやすい

## 起きていること
競プロ典型90問の、[Statue of Chokudai（★3）](https://atcoder.jp/contests/typical90/tasks/typical90_r)を解くプログラムを考えます。

~~~py
from math import sin,cos,atan2,pi

T=int(input())
L,X,Y=map(int,inpu

機械学習を用いた電車識別アプリを作成

**[目次]**
1.背景
2.アプリ概要及び背景
3.実行環境
4.準備
5.学習及び結果分析
6.今後の対応

**1.　背景**
子どもが電車好きで、よく電車を見に行ったり、本を見ていました。
2歳の息子は山手線と京浜東北線の区別を確り名前を言い当てて上手に識別してましたが、その本を見るとぬり絵でした。白黒の状態にも拘らず、言い当てていました。

私自身、緑が山手線、水色が京浜東北線と色でしか判別していないなと気付き、AIによる画像識別をしてみたいという発想に至りました。

**2.　アプリ概要**
電車の画像識別アプリです。山手線と京浜東北線の画像識別を行います。
まずはカラー画像を取り扱い分類を行います。加えて、グレースケールの場合で上手く識別出来るかやってみました。
勉強途上のため、まずはカラー画像で2つの分類を行いますが、今後は更に拡張して行きたいと考えています。

**3.　実行環境**
Google Colab

**4.　準備**
（1）データの収集
日本の電車を対象とした画像のデータセットは中々見当たらなかったため、画像を収集してファイルに保存して分類することに

初学者のオタクが、推しの出演情報を管理するLINEbotを作ってみた。【Python+LINEMessagingAPI+スプレッドシート】

# まえがき
私事なのですが、今年某アイドルのファンクラブに入会しました。
アイドルのファンクラブに入るのは人生初の出来事です。

そこで思ったこと…
**メンバーのTV出演情報、見逃しがち！！！！**

メンバー多め＆私箱推しなのに…
会報(メール)の下の方にしれっと書いてあるだけで終わり。
~~だいたいメールなんていちいちチェックしてない…令和よ？~~

そこでオタクは考えました。
**(´-`).｡oO(LINEでちゃちゃっと登録できて、今日の出演情報を返してくれるbotを作れないだろうか。)**

# 目次
3部構成でお送りします。
下記リンクから飛んでみてください↓

[①勤怠管理botの作成](https://qiita.com/unmochan/items/e68e615a257f4e8f90b4)　※Youtubeにアップされている講座の写経

[②推しの出演情報の登録を行うbotにリメイクする](https://qiita.com/unmochan/items/ebf09e4c4913f12a9d17)

[③本日の出演情報を取得し、返してくれる機能を追加](htt

本日の出演予定をお知らせする機能を追加してみる。[Python+スプシでLINEbot作成その③]

※この投稿は、
[初学者のオタクが、推しの出演情報を管理するLINEbotを作ってみた。【Python+LINEMessagingAPI+スプレッドシート】](https://qiita.com/unmochan/items/68a24cdf9f35327071e1)
のその３です。

その１は[こちら](https://qiita.com/unmochan/items/e68e615a257f4e8f90b4)
その２は[こちら](https://qiita.com/unmochan/items/ebf09e4c4913f12a9d17)

# やったこと
その２で登録した推しの出演情報の中から、本日放送予定のものをメッセージとして送信する処理を追加しました。

# 仕様
①本日の出演情報を知りたい場合、「本日」と入力し送信する。
②今日の日付を取得し、Str型に変換。
③スプレッドシートの”日付”列が今日の日付になっているものを抽出し、リスト化する。
④取得したリストをループ処理で回し、送信用文言に加工して文字列として戻す。
⑤該当データがなかった場合、「今日の出演情報はありません