Python3関連のことを調べてみた

Python3エンジニア認定基礎

##　概要
python3エンジニア認定基礎試験に合格したので、その勉強法と記録を記事し、これから挑む誰かの援助になれば思います。

##　スペック
はじめに私のスペックについて、ご紹介します。
私は元々、ITとは無縁の製造業勤務をしていて30代半ばで、ITに興味を持ち、独学でHTML, Reactなど２年ほど学びながら副業でHP制作などをしていました。
今年の4月にSESへと転職しましたが研修だけ受けて、いまだに案件には入場できておらず未経験のままです。現在、待機中なので簡単な資格を取得しようと思いpython3エンジニア認定基礎試験を受けようと思いました。

##　なぜ？pythonを選んだのか？
元々、フロント技術はNext.jsやWordPressを用いて制作をしていたのですが、サーバーサイドの言語への理解は皆無でした。
Next.jsで制作するにあたり、お問い合わせフォームはNode.jsのコピペなどを組み合わせいただけで、理解という理解はしていませんでした。

##　Javaの基礎学習はしていた
Javaの基礎は大体学習済み。しかしjavaの資格は値段が高いので、まずは安い

Matplotlib scatter 散布図の各点の座標を取得

# Matplotlib のscatter（散布図）から、各点の座標を取得する
上記を調べてもヒットしなかったのでメモしておく。

plt.scatter() やsns.scatteplot()で作図した散布図の各点の座標を取得する。
scatterでは戻り値が「PathCollection」なのだが、ここから各点の座標を取得する方法を調べても公式ドキュメントに記されている構造が難解で辿り着けない。

– **seabornを用いる（sns.scatterplot()）**
– 戻り値はaxes。axes.collections[0].get_offsets()、と辿る
→[[$x_1$ $y_1$] [$x_2$ $y_2$] […]…] のリストを取得
– **plt.scatterを用いる**
– 戻り値がPathCollectionなので、.get_offsets()と書けば良い
→[[$x_1$ $y_1$] [$x_2$ $y_2$] […]…] のリストを取得

以下、pythonのコード。
seaborn

PostgreSQL: Python3 で csv をインポート （位置）

こちらのプログラムを改造して、csv の位置で、データをインポートします。
[PostgreSQL: Python3 で csv をインポート](https://qiita.com/ekzemplaro/items/d1ea0588fc8df31def04)

## サンプルの csv

“`text:cities_jp.csv
識別記号,都市名,人口,更新日
t1271,千葉,73561,2019-7-30
t1272,勝浦,24895,2019-8-10
t1273,市原,67294,2019-1-14
t1274,流山,73612,2019-5-9
t1275,八千代,63491,2019-8-4
t1276,我孫子,41827,2019-1-21
t1277,鴨川,12946,2019-7-23
t1278,銚子,79128,2019-11-26
t1279,市川,13572,2019-10-15
“`

## プログラム

ポイントは、次です。

“`py
row.iloc[index]
“`

“`py:csv_place_import.py
#! /usr/bi

Pythonの列挙型の個数、最大値、最小値の取得

Pythonの列挙型(Enum)の個数、最大値、最小値の取得の仕方を備忘録として以下に示す。

“`py:enum.py
from enum import Enum, unique
@unique
class Position(Enum):
SQUARE = 0
SHORT = 1
LONG = 2

@unique
class Action(Enum):
WAIT = 0
SHORT = 1
LONG = 2
LIQUIDATE = 3

print(len(Action)) # 個数 4
print(max([e.value for e in Position])) # 最大値 2
print(min([e.value for e in Position])) # 最小値 0
“`

初めてのPythonで “error: externally-managed-environment” を解決する

これが完璧な解決策かは、わかりません。もっと良い方法があれば、教えてください。

## 前提
– 初めてに近い状態で、Python を使う
– Python の様々なモジュールを使う
– Homebrew で Python をインストール
– macOS (Apple Silicon)

## 背景
OpenAI の API を使って、様々な作業をさせるPythonスクリプトを作ろうと思い、Pythonを学び始めました。

しかし、モジュール(ライブラリ?)のインストールで、躓きまくりました。最終的には、エラーメッセージに案内される方法で解決しました。

## Pythonのインストール

homebrew を使います。詳しくは、たくさん記事があるので、それを参考にしてください。複雑なことは何もありません。

– [homebrew](https://brew.sh/)

“`terminal
brew install python@3.12
“`

## モジュールのインストールでエラーが出る

次に、使いたいモジュールをインストールしようとすると、エラーが発生

“`term

PythonとStreamlitでRaspiのタイムラプスカメラを作った話

理科の先生からタイムラプスで植物の成長を定点観測したいと要望があり作成しました。
iPadでタイムラプスしようとしてたらしいですが、定点観測なら断然Raspiの出番でしょう。
RaspberryPi4B（2GB版）
Bookworm64bit版

サクッと完成させようと思っていたのに意外にも躓いてしまったので忘備録として残しておきます。
躓き原因はOpenCVがライブラリが足りないとかで上手くインストールが出来ず、強制的に入れても今度はStreamlitでエラーが出てしまうと言う無限ループに陥りました。
何とか解消したいと藻掻きましたがPythonのバージョンとの兼ね合いで無理な事が分かり結局はvenvで対策をしました。

“`
sudo apt update
sudo apt upgrade -y
sudo apt install -y python3-pip python3-venv libatlas-base-dev libhdf5-dev libhdf5-serial-dev libhdf5-103 libjasper-dev libqtgui4 libqt4-test
“

Bike Sharing Demand データ分析

専門実践教育訓練講座の最終成果物として記事作成。
かなり冗長となるが講座の合否に使用される為、分析順序と考察を交えて記載。

# 目次
– [はじめに～記事概略まとめ](#はじめに記事概略まとめ)
– [本記事について](#本記事について)
– [作成の経緯](#作成の経緯)
– [著者について](#著者について)
– [作成の経緯](#作成の経緯)
– [著者について](#著者について)
– [データ分析歴](#データ分析歴)
– [プログラミング経験](#プログラミング経験)
– [分析環境](#分析環境)
– [テーマについて](#テーマについて)
– [Bike Sharing Demand 概略](#bike-sharing-demand-概略)
– [テーマ選定理由](#テーマ選定理由)
– [分析用データ](#分析用データ)
– [評価指標](#評価指標)
– [目標値設定](#目標値設定)
– [目標

RMSLEに関する考察

# もくじ
– [本記事について](#本記事について)
– [RMSLE](#rmsle)
– [RMSLEの式、概要](#rmsleの式概要)
– [対比：RMSE](#対比rmse)
– [RMSEの図的イメージ](#rmseの図的イメージ)
– [RMSLEの図的イメージ](#rmsleの図的イメージ)
– [真値の小さいエリアでペナルティ大](#真値の小さいエリアでペナルティ大)
– [結び](#結び)

# 本記事について
RMSLEについて図的にイメージする。
Kaggleの[Bike Sharing Demand](https://www.kaggle.com/competitions/bike-sharing-demand/overview)に関する作成記事の補足で記載した。

Kaggleのコンペに挑戦したところ、評価値がRMSLEであった。
恥ずかしながらRMSLEについては聞いたことがなかった。
機械学習モデル精度の目標値を定めたいが、「RMSLE = c なら精度はどの程度

【Python】unicodedataのeast_asian_widthで半角か全角かを判断する

# 概要
連携される文字列が「半角なのか全角なのか」を判定させる必要があったので、pythonの`unicodedata`モジュールを利用してみました。サンプルコードを紹介します。

公式ドキュメントはこちら。

> unicodedata.east_asian_width(chr)
ユニコード文字 chr に割り当てられたeast asian widthを文字列で返します。

https://docs.python.org/ja/3.6/library/unicodedata.html

# サンプルコード解説
`unicodedata`モジュールの`east_asian_width`を利用すると、「東アジアの文字幅」のカテゴリーが返ってきます。
主に以下の4つがあります。

F (Fullwidth)：全角英数
W (Wide)：全角かな、漢字
H (Halfwidth)：半角カタカナ
A (Ambiguous)：特殊文字

https://ja.wikipedia.org/wiki/%E6%9D%B1%E3%82%A2%E3%82%B8%E3%82%A2%E3%81%AE%E

TensorFlowを利用するWSGIサーバの構築に向けたPython3環境の構築（完結・Amazon Linux 2023編）

# まえがき
Python3環境構築シリーズ3部作も、今回のAmazon Linux2023をもって締めくくりとなりました。いろいろなことがありましたが、ひとつ気づいたことがあります。

今回、いい機会なので、Amazon Linux 2023のインスタンスを作ったのですが、AMIの選択肢は以下の画像のようになっていました。


これは自分にとっても初耳なので、驚きでした。TensorFlowは扱いが難しいパッケージであるために、「Deep Learning OSS」と称して、AWSの側でも AMI イメージを用意しているのですね。

今回の記事は、tensorflow2.16.1をターゲットとしているため、ほぼ同様のことが出来るのではないかと思います。そういった意味では、使用されているLinuxをAWSのDeep Learning OSS 相当にするチャンスではないか、と。

## 前提
+ OS: Amazon Linux 2023

[初心者]Python Djangoで単体テスト(unittest)書いて開発[Factory Boy][Mock]

## 1. はじめに

この記事では、Djangoを使ってシンプル(もどき)なECサイトを構築し、そのサイトに対して単体テストをどのように書くかについて学びます！
Pythonの日本語の教材って意外と単体テスト書いてくれてないので結構な分量で書きました。

一応、超簡単に単体テスト書くといいこと触れときます。
コードの量が増えれば増えるほど機能追加や変更が恐ろしくなります。単体テスト書くと完璧ではないですが、リリースするのが少し自信出ます😉
開発初期では書く方が開発遅くなると思いますが、書かないと次第に辛くなっていきます（体験済み）ので身につけておいて損はないですよ！

簡単なアプリ作成経験あると仮定して作っていきます。経験ないと言う方は昔書いた記事を参考に

https://qiita.com/Bashi50/items/c686d30f

OpenCV を使ってお絵かきアプリを作る方法(改良版)

# 0.最初に
「opencv お絵描き」でggって一番上に出てくる記事のものを改良したので紹介します。

参考記事：

https://qiita.com/igor-bond16/items/ef26167a1139a34e24af

# 1.紹介
参考にした @igor-bond16 さんのはこんな感じ。

マウスを速く動かしたときに連続せず点々になっているのが気になりますね。

次に改良したのがこんな感じ。
TensorFlowを利用するWSGIサーバの構築に向けたPython3環境の構築（続・Ubuntu編）

## 記述を行うところの動機
+ 前回の記事を補足したかった
+ 環境作成作業自体が混沌としていたので、実際の稼働に対する担保が取りづらくなっていた
+ 特に、pip3によるインストールでのインストールする必要なライブラリについては、明記する必要があった
+ 動くサンプルを提供しなければ、と思い込むタイプなので

## 前提
* OS：Ubuntu 24.04 LTS
* Python: version python-3.9.18
* Chat-GPT API：GPT-4V

## 環境作成

### OSのインストール
下記リンクを参考にしてください。

[Ubuntuを入手する](https://jp.ubuntu.com/download)

### OSのアップデート
こちらも行いましょう。
“`
sudo apt update
sudo apt upgrade
“`

### WSGIサーバのインストール
Apache です。
“`
sudo apt install apache2
“`

WSGI環境構築につきましては、前回の記事にリンクがありますので、参照ください

PostgreSQL: Python3 で csv をインポート

テーブルのコラムが、総て　csv のコラムにあるとします。

## プログラム

“`py:csv_import.py
#! /usr/bin/python
# csv_import.py
#
# Jul/10/2024
# ——————————————————————
import pandas as pd
import psycopg2
import sys
# ——————————————————————
from prepare_sql import prepare_sql_proc
from prepare_sql import get_columns_order
# ——————————————————————
csv_file = sys.argv[1]

dbname = “city”
user =

python勉強記録②

python勉強記録①で取得したデーターをCSVへ出力し、Streamlitで可視化する。

“`python:chart.py

import streamlit as st
import pandas as pd

# CSVファイルの読み込み
df = pd.read_csv(‘out.csv’)

# タイムスタンプをdatetime型に変換
df[‘timestamp’] = pd.to_datetime(df[‘timestamp’])

# スライダーで期間を指定
start_date, end_date = st.slider(
“期間を選択してください”,
min_value=df[‘timestamp’].min().to_pydatetime(),
max_value=df[‘timestamp’].max().to_pydatetime(),
value=(df[‘timestamp’].min().to_pydatetime(), df[‘timestamp’].max().to_pydatetime()),format

サッカーの写真の中からボールを持つ人が全身写っているものだけを識別するアプリ

# はじめに
はじめまして。エンジニア転職を目指してAidemyさんのAI開発講座を受講している元サラリーマンです。
趣味で映像編集をしていて、所属するサッカーチームの振り返り映像を作ることがあります。たくさん撮ったサッカーのプレーの写真の中から、映像制作に使うことの多い「ボールを持つ人が全身写っている写真」だけを選び出すアプリがあれば、映像制作にかかる時間も短縮できるのではと思い、その作成した過程について書こうと思います。


# 目次
実行環境
データの準備
モデルの構築・学習・評価
Webページの作成(HTML・CSS・FLASK)
Renderへのデプロイ
今後の活用
おわりに

# 実行環境
iMac (Retina 5K, 2017)
Google Colaboratory
V

【Python】複数のシェルスクリプトのAPIコールを１コマンドですべて実行させる方法

# 概要
とあるディレクトリにある複数のシェルスクリプトファイルを１コマンドで勝手に一つずつ実行させていくコードを書いたので紹介します。

# サンプルコード解説

“`py
import subprocess
import os

# スクリプトが存在するフォルダのパス（現在のディレクトリとしています）
folder_path = ‘./’

scripts = sorted([files for files in os.listdir(folder_path) if files.endswith(‘.sh’)])

# APIのエンドポイント
api_endpoint = ‘http://localhost/api’

for script in scripts:
script_path = os.path.join(folder_path, script)
print(f”Executing {script}…”)
subprocess.run([‘sh’, script_path, api_endpoint])
print(f”Finish

Ubuntu環境でPython環境構築

## 0. システムのアップデート
>開始する前に、システムが最新であることを確認することが常に良いアイデアです。ターミナルを開いて、次のコマンドを実行してください。
“`
sudo apt update && sudo apt upgrade
“`

## 1. Python3
##### バージョンの確認
“`
python3 –version
>>> Python 3.10.12
“`
バージョンが返ってこない場合は、インストールを行う。
(バージョンは3.10でも良いと思います)
“`
sudo apt install python3.9
“`

## 2. pip
##### pipのバージョン確認
“`
pip3 –version
>>> pip 22.0.2 from /usr/lib/python3/dist-packages/pip (python 3.10)
“`
こちらもバージョンが返ってこない場合は、インストールを行う。
“`
sudo apt install python3-pip
“`

## 3. 仮想環境の作成
“`
pyth

PostgreSQL: プライマリーキーの取得

## プログラム

“`py:get_primary_key.py
#! /usr/bin/python
#
# get_primary_key.py
#
# Jun/03/2024
#
# ——————————————————–
import os
import sys
import psycopg2
from dotenv import load_dotenv
#
# ——————————————————–
# [8]:
def get_primary_key_proc(cursor_aa,schema,table_target):
# sql_str = “SELECT tc.table_name, kcu.column_name ”
sql_str = “SELECT kcu.column_name ”
sql_str += “FROM information_schema.table_constraints AS tc

PostgreSQL: サブセットのテーブルをペアレントのテーブルにコピー

## テーブル定義

サブセットのテーブル

“`text
city=# \d cities
Table “public.cities”
Column | Type | Collation | Nullable | Default
————+———————–+———–+———-+———
id | character varying(10) | | not null |
name | text | | |
population | integer | | |
date_mod | date | | |
Indexes:
“citi