Python3関連のことを調べてみた

初めてのPythonで “error: externally-managed-environment” を解決する

これが完璧な解決策かは、わかりません。もっと良い方法があれば、教えてください。

## 前提
– 初めてに近い状態で、Python を使う
– Python の様々なモジュールを使う
– Homebrew で Python をインストール
– macOS (Apple Silicon)

## 背景
OpenAI の API を使って、様々な作業をさせるPythonスクリプトを作ろうと思い、Pythonを学び始めました。

しかし、モジュール(ライブラリ?)のインストールで、躓きまくりました。最終的には、エラーメッセージに案内される方法で解決しました。

## Pythonのインストール

homebrew を使います。詳しくは、たくさん記事があるので、それを参考にしてください。複雑なことは何もありません。

– [homebrew](https://brew.sh/)

“`terminal
brew install python@3.12
“`

## モジュールのインストールでエラーが出る

次に、使いたいモジュールをインストールしようとすると、エラーが発生

“`term

PythonとStreamlitでRaspiのタイムラプスカメラを作った話

理科の先生からタイムラプスで植物の成長を定点観測したいと要望があり作成しました。
iPadでタイムラプスしようとしてたらしいですが、定点観測なら断然Raspiの出番でしょう。
RaspberryPi4B（2GB版）
Bookworm64bit版

サクッと完成させようと思っていたのに意外にも躓いてしまったので忘備録として残しておきます。
躓き原因はOpenCVがライブラリが足りないとかで上手くインストールが出来ず、強制的に入れても今度はStreamlitでエラーが出てしまうと言う無限ループに陥りました。
何とか解消したいと藻掻きましたがPythonのバージョンとの兼ね合いで無理な事が分かり結局はvenvで対策をしました。

“`
sudo apt update
sudo apt upgrade -y
sudo apt install -y python3-pip python3-venv libatlas-base-dev libhdf5-dev libhdf5-serial-dev libhdf5-103 libjasper-dev libqtgui4 libqt4-test
“

Bike Sharing Demand データ分析

# 目次
– [はじめに～記事概略まとめ](#はじめに記事概略まとめ)
– [本記事について](#本記事について)
– [作成の経緯](#作成の経緯)
– [著者について](#著者について)
– [作成の経緯](#作成の経緯)
– [著者について](#著者について)
– [データ分析歴](#データ分析歴)
– [プログラミング経験](#プログラミング経験)
– [分析環境](#分析環境)
– [テーマについて](#テーマについて)
– [Bike Sharing Demand 概略](#bike-sharing-demand-概略)
– [テーマ選定理由](#テーマ選定理由)
– [分析用データ](#分析用データ)
– [評価指標](#評価指標)
– [目標値設定](#目標値設定)
– [目標RMSLE値について掘り下げ](#目標rmsle値について掘り下げ)
– [データ分析1：データ確認](#データ分析1データ確

RMSLEに関する考察

# もくじ
– [本記事について](#本記事について)
– [RMSLE](#rmsle)
– [RMSLEの式、概要](#rmsleの式概要)
– [対比：RMSE](#対比rmse)
– [RMSEの図的イメージ](#rmseの図的イメージ)
– [RMSLEの図的イメージ](#rmsleの図的イメージ)
– [真値の小さいエリアでペナルティ大](#真値の小さいエリアでペナルティ大)
– [結び](#結び)

# 本記事について
RMSLEについて図的にイメージする。
Kaggleの[Bike Sharing Demand](https://www.kaggle.com/competitions/bike-sharing-demand/overview)に関する作成記事の補足で記載した。

Kaggleのコンペに挑戦したところ、評価値がRMSLEであった。
恥ずかしながらRMSLEについては聞いたことがなかった。
機械学習モデル精度の目標値を定めたいが、「RMSLE = c なら精度はどの程度

【Python】unicodedataのeast_asian_widthで半角か全角かを判断する

# 概要
連携される文字列が「半角なのか全角なのか」を判定させる必要があったので、pythonの`unicodedata`モジュールを利用してみました。サンプルコードを紹介します。

公式ドキュメントはこちら。

> unicodedata.east_asian_width(chr)
ユニコード文字 chr に割り当てられたeast asian widthを文字列で返します。

https://docs.python.org/ja/3.6/library/unicodedata.html

# サンプルコード解説
`unicodedata`モジュールの`east_asian_width`を利用すると、「東アジアの文字幅」のカテゴリーが返ってきます。
主に以下の4つがあります。

F (Fullwidth)：全角英数
W (Wide)：全角かな、漢字
H (Halfwidth)：半角カタカナ
A (Ambiguous)：特殊文字

https://ja.wikipedia.org/wiki/%E6%9D%B1%E3%82%A2%E3%82%B8%E3%82%A2%E3%81%AE%E

TensorFlowを利用するWSGIサーバの構築に向けたPython3環境の構築（完結・Amazon Linux 2023編）

# まえがき
Python3環境構築シリーズ3部作も、今回のAmazon Linux2023をもって締めくくりとなりました。いろいろなことがありましたが、ひとつ気づいたことがあります。

今回、いい機会なので、Amazon Linux 2023のインスタンスを作ったのですが、AMIの選択肢は以下の画像のようになっていました。


これは自分にとっても初耳なので、驚きでした。TensorFlowは扱いが難しいパッケージであるために、「Deep Learning OSS」と称して、AWSの側でも AMI イメージを用意しているのですね。

今回の記事は、tensorflow2.16.1をターゲットとしているため、ほぼ同様のことが出来るのではないかと思います。そういった意味では、使用されているLinuxをAWSのDeep Learning OSS 相当にするチャンスではないか、と。

## 前提
+ OS: Amazon Linux 2023

[初心者]Python Djangoで単体テスト(unittest)書いて開発[Factory Boy][Mock]

## 1. はじめに

この記事では、Djangoを使ってシンプル(もどき)なECサイトを構築し、そのサイトに対して単体テストをどのように書くかについて学びます！
Pythonの日本語の教材って意外と単体テスト書いてくれてないので結構な分量で書きました。

一応、超簡単に単体テスト書くといいこと触れときます。
コードの量が増えれば増えるほど機能追加や変更が恐ろしくなります。単体テスト書くと完璧ではないですが、リリースするのが少し自信出ます😉
開発初期では書く方が開発遅くなると思いますが、書かないと次第に辛くなっていきます（体験済み）ので身につけておいて損はないですよ！

簡単なアプリ作成経験あると仮定して作っていきます。経験ないと言う方は昔書いた記事を参考に

https://qiita.com/Bashi50/items/c686d30f

OpenCV を使ってお絵かきアプリを作る方法(改良版)

# 0.最初に
「opencv お絵描き」でggって一番上に出てくる記事のものを改良したので紹介します。

参考記事：

https://qiita.com/igor-bond16/items/ef26167a1139a34e24af

# 1.紹介
参考にした @igor-bond16 さんのはこんな感じ。

マウスを速く動かしたときに連続せず点々になっているのが気になりますね。

次に改良したのがこんな感じ。
TensorFlowを利用するWSGIサーバの構築に向けたPython3環境の構築（続・Ubuntu編）

## 記述を行うところの動機
+ 前回の記事を補足したかった
+ 環境作成作業自体が混沌としていたので、実際の稼働に対する担保が取りづらくなっていた
+ 特に、pip3によるインストールでのインストールする必要なライブラリについては、明記する必要があった
+ 動くサンプルを提供しなければ、と思い込むタイプなので

## 前提
* OS：Ubuntu 24.04 LTS
* Python: version python-3.9.18
* Chat-GPT API：GPT-4V

## 環境作成

### OSのインストール
下記リンクを参考にしてください。

[Ubuntuを入手する](https://jp.ubuntu.com/download)

### OSのアップデート
こちらも行いましょう。
“`
sudo apt update
sudo apt upgrade
“`

### WSGIサーバのインストール
Apache です。
“`
sudo apt install apache2
“`

WSGI環境構築につきましては、前回の記事にリンクがありますので、参照ください

PostgreSQL: Python3 で csv をインポート

テーブルと csv のコラムの順が同じであるとします。

## プログラム

“`py:csv_import.py
#! /usr/bin/python
# csv_import.py
#
# Jul/04/2024
# ——————————————————————
import pandas as pd
import psycopg2
import sys
# ——————————————————————
def get_columns_order(cur,table_name):
array_columns = []
sql = “””
SELECT column_name
FROM information_schema.columns
WHERE table_name = %s
ORDER BY ordinal_position;
“””
cur.execute(sql, (ta

python勉強記録②

python勉強記録①で取得したデーターをCSVへ出力し、Streamlitで可視化する。

“`python:chart.py

import streamlit as st
import pandas as pd

# CSVファイルの読み込み
df = pd.read_csv(‘out.csv’)

# タイムスタンプをdatetime型に変換
df[‘timestamp’] = pd.to_datetime(df[‘timestamp’])

# スライダーで期間を指定
start_date, end_date = st.slider(
“期間を選択してください”,
min_value=df[‘timestamp’].min().to_pydatetime(),
max_value=df[‘timestamp’].max().to_pydatetime(),
value=(df[‘timestamp’].min().to_pydatetime(), df[‘timestamp’].max().to_pydatetime()),format

サッカーの写真の中からボールを持つ人が全身写っているものだけを識別するアプリ

# はじめに
はじめまして。エンジニア転職を目指してAidemyさんのAI開発講座を受講している元サラリーマンです。
趣味で映像編集をしていて、所属するサッカーチームの振り返り映像を作ることがあります。たくさん撮ったサッカーのプレーの写真の中から、映像制作に使うことの多い「ボールを持つ人が全身写っている写真」だけを選び出すアプリがあれば、映像制作にかかる時間も短縮できるのではと思い、その作成した過程について書こうと思います。


# 目次
実行環境
データの準備
モデルの構築・学習・評価
Webページの作成(HTML・CSS・FLASK)
Renderへのデプロイ
今後の活用
おわりに

# 実行環境
iMac (Retina 5K, 2017)
Google Colaboratory
V

【Python】複数のシェルスクリプトのAPIコールを１コマンドですべて実行させる方法

# 概要
とあるディレクトリにある複数のシェルスクリプトファイルを１コマンドで勝手に一つずつ実行させていくコードを書いたので紹介します。

# サンプルコード解説

“`py
import subprocess
import os

# スクリプトが存在するフォルダのパス（現在のディレクトリとしています）
folder_path = ‘./’

scripts = sorted([files for files in os.listdir(folder_path) if files.endswith(‘.sh’)])

# APIのエンドポイント
api_endpoint = ‘http://localhost/api’

for script in scripts:
script_path = os.path.join(folder_path, script)
print(f”Executing {script}…”)
subprocess.run([‘sh’, script_path, api_endpoint])
print(f”Finish

Ubuntu環境でPython環境構築

## 0. システムのアップデート
>開始する前に、システムが最新であることを確認することが常に良いアイデアです。ターミナルを開いて、次のコマンドを実行してください。
“`
sudo apt update && sudo apt upgrade
“`

## 1. Python3
##### バージョンの確認
“`
python3 –version
>>> Python 3.10.12
“`
バージョンが返ってこない場合は、インストールを行う。
(バージョンは3.10でも良いと思います)
“`
sudo apt install python3.9
“`

## 2. pip
##### pipのバージョン確認
“`
pip3 –version
>>> pip 22.0.2 from /usr/lib/python3/dist-packages/pip (python 3.10)
“`
こちらもバージョンが返ってこない場合は、インストールを行う。
“`
sudo apt install python3-pip
“`

## 3. 仮想環境の作成
“`
pyth

PostgreSQL: プライマリーキーの取得

## プログラム

“`py:get_primary_key.py
#! /usr/bin/python
#
# get_primary_key.py
#
# Jun/03/2024
#
# ——————————————————–
import os
import sys
import psycopg2
from dotenv import load_dotenv
#
# ——————————————————–
# [8]:
def get_primary_key_proc(cursor_aa,schema,table_target):
# sql_str = “SELECT tc.table_name, kcu.column_name ”
sql_str = “SELECT kcu.column_name ”
sql_str += “FROM information_schema.table_constraints AS tc

PostgreSQL: サブセットのテーブルをペアレントのテーブルにコピー

## テーブル定義

サブセットのテーブル

“`text
city=# \d cities
Table “public.cities”
Column | Type | Collation | Nullable | Default
————+———————–+———–+———-+———
id | character varying(10) | | not null |
name | text | | |
population | integer | | |
date_mod | date | | |
Indexes:
“citi

Anacondaを使わずPythonにGDALをインストールする方法

PythonにGDALをインストール手順で躓いた際の解決方法の備忘録です。私はGDALでしか検証していませんが、地理空間系の解析に必要な他のライブラリ（basemap, Cartopy, cftime, Fiona, netCDF4, pygeos, pyproj, rasterio, Rtree, shapely）についても同様の手順が使えそうです。

# GDALのインストールでエラー発生

久々に画像解析の作業を行うことになり、PCにPythonをインストールしました。次いで必要なパッケージも`pip`コマンドを使ってインストールしていったのですが、GDALをインストールしようとしたところ、エラーが出て止まってしまいました。

“`terminal
> pip install gdal

Collecting gdal
Using cached gdal-3.9.1.tar.gz (840 kB)
Installing build dependencies … done
Getting requirements to build wheel … done

Seleniumの激遅find_elementsから開放されよう、lxmlのすすめ

# はじめに
ブラウザ操作を自動化するライブラリのSelenium。
Seleniumのfind_elementメソッド遅くて正直しんどくないですか？
特に大量のデータを扱うときなんかだと、イライラしてキーボードを投げたくなっちゃうこともしばしば…。
そんな時は、`page_source`をもってきてlxmlに食わせてしまいましょう。

# 動作環境
– Python 3.12.3
– google-colab-selenium-1.0.13

# どのくらい違うの？
以下のコードで実行時間を比較してみました。
今回は、例として、[Yahoo Japan](https://www.yahoo.co.jp/)からリアルタイム検索で話題のキーワードを取得します。

“`py
import google_colab_selenium as gs
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
import datetime
import lx

pythonでopenCVを使おうとしたらimportエラーが起きた

# はじめに

WSL2+poetry+python環境で開発を行っています。
昨日までは問題なく実行できていたプログラムでしたが、今日は急にopenCVがエラーを起こしました。
なんで昨日までは動いていたんだよ…

最後の一文に原因が載っていました。
“`
ImportError: libGL.so.1: cannot open shared object file: No such file or directory
“`

libGLがないとのことです。

# やったこと

結構ありがちなエラーらしく、いろいろな記事で触れられていました。
人によってやり方が違うので、まとめて載せておきます。

私は以下のコマンドで解決できました。

“`bash
sudo apt install libopencv-dev
“`

libopencv-devを削除したうえで、以下のコマンドも試してみました。
こちらも解決できました。

“`bash
sudo apt install libgl1-mesa-dev
“`

以下は試していませんが、解決するらしいです。
“`bas

Python FizzBuzz問題

**FizzBuzz**問題とは、「1~100までの値で3で割り切れる場合Fizz、5で割り切れる場合はBuzz、両方で割り切れる場合FizzBuzz」と表示するものです。
多種多様な書き方があるので一部を抜粋

#### 1
“`python
for i in range(1, 101):
if i % 3 == 0 and i % 5 == 0:
print(“FizzBuzz”)
elif i % 3 == 0:
print(“Fizz”)
elif i % 5 == 0:
print(“Buzz”)
else:
print(i)
“`

#### 2
“`python
for i in range(1, 101):
if i % 3 == 0:
print(“Fizz”, end=””)
if i % 5 == 0:
print(“Buzz”, end=””)
if i%3 and i%5:
print(i