Python3関連のことを調べてみた

PostgreSQL: Python3 で csv をインポート

テーブルと csv のコラムの順が同じであるとします。

## プログラム

“`py:csv_import.py
#! /usr/bin/python
# csv_import.py
#
# Jul/04/2024
# ——————————————————————
import pandas as pd
import psycopg2
import sys
# ——————————————————————
def get_columns_order(cur,table_name):
array_columns = []
sql = “””
SELECT column_name
FROM information_schema.columns
WHERE table_name = %s
ORDER BY ordinal_position;
“””
cur.execute(sql, (ta

python勉強記録②

python勉強記録①で取得したデーターをCSVへ出力し、Streamlitで可視化する。

“`python:chart.py

import streamlit as st
import pandas as pd

# CSVファイルの読み込み
df = pd.read_csv(‘out.csv’)

# タイムスタンプをdatetime型に変換
df[‘timestamp’] = pd.to_datetime(df[‘timestamp’])

# スライダーで期間を指定
start_date, end_date = st.slider(
“期間を選択してください”,
min_value=df[‘timestamp’].min().to_pydatetime(),
max_value=df[‘timestamp’].max().to_pydatetime(),
value=(df[‘timestamp’].min().to_pydatetime(), df[‘timestamp’].max().to_pydatetime()),format

サッカーの写真の中からボールを持つ人が全身写っているものだけを識別するアプリ

# はじめに
はじめまして。エンジニア転職を目指してAidemyさんのAI開発講座を受講している元サラリーマンです。
趣味で映像編集をしていて、所属するサッカーチームの振り返り映像を作ることがあります。たくさん撮ったサッカーのプレーの写真の中から、映像制作に使うことの多い「ボールを持つ人が全身写っている写真」だけを選び出すアプリがあれば、映像制作にかかる時間も短縮できるのではと思い、その作成した過程について書こうと思います。


# 目次
実行環境
データの準備
モデルの構築・学習・評価
Webページの作成(HTML・CSS・FLASK)
Renderへのデプロイ
今後の活用
おわりに

# 実行環境
iMac (Retina 5K, 2017)
Google Colaboratory
V

【Python】複数のシェルスクリプトのAPIコールを１コマンドですべて実行させる方法

# 概要
とあるディレクトリにある複数のシェルスクリプトファイルを１コマンドで勝手に一つずつ実行させていくコードを書いたので紹介します。

# サンプルコード解説

“`py
import subprocess
import os

# スクリプトが存在するフォルダのパス（現在のディレクトリとしています）
folder_path = ‘./’

scripts = sorted([files for files in os.listdir(folder_path) if files.endswith(‘.sh’)])

# APIのエンドポイント
api_endpoint = ‘http://localhost/api’

for script in scripts:
script_path = os.path.join(folder_path, script)
print(f”Executing {script}…”)
subprocess.run([‘sh’, script_path, api_endpoint])
print(f”Finish

Ubuntu環境でPython環境構築

## 0. システムのアップデート
>開始する前に、システムが最新であることを確認することが常に良いアイデアです。ターミナルを開いて、次のコマンドを実行してください。
“`
sudo apt update && sudo apt upgrade
“`

## 1. Python3
##### バージョンの確認
“`
python3 –version
>>> Python 3.10.12
“`
バージョンが返ってこない場合は、インストールを行う。
(バージョンは3.10でも良いと思います)
“`
sudo apt install python3.9
“`

## 2. pip
##### pipのバージョン確認
“`
pip3 –version
>>> pip 22.0.2 from /usr/lib/python3/dist-packages/pip (python 3.10)
“`
こちらもバージョンが返ってこない場合は、インストールを行う。
“`
sudo apt install python3-pip
“`

## 3. 仮想環境の作成
“`
pyth

PostgreSQL: プライマリーキーの取得

## プログラム

“`py:get_primary_key.py
#! /usr/bin/python
#
# get_primary_key.py
#
# Jun/03/2024
#
# ——————————————————–
import os
import sys
import psycopg2
from dotenv import load_dotenv
#
# ——————————————————–
# [8]:
def get_primary_key_proc(cursor_aa,schema,table_target):
# sql_str = “SELECT tc.table_name, kcu.column_name ”
sql_str = “SELECT kcu.column_name ”
sql_str += “FROM information_schema.table_constraints AS tc

PostgreSQL: サブセットのテーブルをペアレントのテーブルにコピー

## テーブル定義

サブセットのテーブル

“`text
city=# \d cities
Table “public.cities”
Column | Type | Collation | Nullable | Default
————+———————–+———–+———-+———
id | character varying(10) | | not null |
name | text | | |
population | integer | | |
date_mod | date | | |
Indexes:
“citi

Anacondaを使わずPythonにGDALをインストールする方法

PythonにGDALをインストール手順で躓いた際の解決方法の備忘録です。私はGDALでしか検証していませんが、地理空間系の解析に必要な他のライブラリ（basemap, Cartopy, cftime, Fiona, netCDF4, pygeos, pyproj, rasterio, Rtree, shapely）についても同様の手順が使えそうです。

# GDALのインストールでエラー発生

久々に画像解析の作業を行うことになり、PCにPythonをインストールしました。次いで必要なパッケージも`pip`コマンドを使ってインストールしていったのですが、GDALをインストールしようとしたところ、エラーが出て止まってしまいました。

“`terminal
> pip install gdal

Collecting gdal
Using cached gdal-3.9.1.tar.gz (840 kB)
Installing build dependencies … done
Getting requirements to build wheel … done

Seleniumの激遅find_elementsから開放されよう、lxmlのすすめ

# はじめに
ブラウザ操作を自動化するライブラリのSelenium。
Seleniumのfind_elementメソッド遅くて正直しんどくないですか？
特に大量のデータを扱うときなんかだと、イライラしてキーボードを投げたくなっちゃうこともしばしば…。
そんな時は、`page_source`をもってきてlxmlに食わせてしまいましょう。

# 動作環境
– Python 3.12.3
– google-colab-selenium-1.0.13

# どのくらい違うの？
以下のコードで実行時間を比較してみました。
今回は、例として、[Yahoo Japan](https://www.yahoo.co.jp/)からリアルタイム検索で話題のキーワードを取得します。

“`py
import google_colab_selenium as gs
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
import datetime
import lx

pythonでopenCVを使おうとしたらimportエラーが起きた

# はじめに

WSL2+poetry+python環境で開発を行っています。
昨日までは問題なく実行できていたプログラムでしたが、今日は急にopenCVがエラーを起こしました。
なんで昨日までは動いていたんだよ…

最後の一文に原因が載っていました。
“`
ImportError: libGL.so.1: cannot open shared object file: No such file or directory
“`

libGLがないとのことです。

# やったこと

結構ありがちなエラーらしく、いろいろな記事で触れられていました。
人によってやり方が違うので、まとめて載せておきます。

私は以下のコマンドで解決できました。

“`bash
sudo apt install libopencv-dev
“`

libopencv-devを削除したうえで、以下のコマンドも試してみました。
こちらも解決できました。

“`bash
sudo apt install libgl1-mesa-dev
“`

以下は試していませんが、解決するらしいです。
“`bas

Python FizzBuzz問題

**FizzBuzz**問題とは、「1~100までの値で3で割り切れる場合Fizz、5で割り切れる場合はBuzz、両方で割り切れる場合FizzBuzz」と表示するものです。
多種多様な書き方があるので一部を抜粋

#### 1
“`python
for i in range(1, 101):
if i % 3 == 0 and i % 5 == 0:
print(“FizzBuzz”)
elif i % 3 == 0:
print(“Fizz”)
elif i % 5 == 0:
print(“Buzz”)
else:
print(i)
“`

#### 2
“`python
for i in range(1, 101):
if i % 3 == 0:
print(“Fizz”, end=””)
if i % 5 == 0:
print(“Buzz”, end=””)
if i%3 and i%5:
print(i

Python用　型一覧【自分用】

| 1 | 2 |
|:-:|:-:|
| 真偽 | bool |
| 数字(整数) | int |
| 数字(少数含む) | float |
| 文字列 | str |
| リスト | list |
| タプル | tuple |
| 辞書 | dict |

【初心者向け】知っておくと役に立つPythonのTips

Pythonで意外と知らないTipsをいくつか紹介
逐一思い出し次第追加していきます。

### 文字列の中で変数を使用する
“`python
a = “hoge!”
print(f”Hello,{a}”)
“`

### リストの最後尾
Pythonでは、インデックスに-1を指定することにより、一番最後の値を参照することができる
“`python
list = [“hoge”, “hogee”, “hogege”, “hogehoge”]
print(list[-1])#出力　hogehoge
“`

### リストのスライス
リストは[]内で:を使用することにより、n~mというように一部を取り出すことができる
“`python
list = [“hoge”, “hogee”, “hogege”, “hogehoge”]
print(list[2:4])#出力　[‘hogege’, ‘hogehoge’]
“`
これを利用することにより、文字列の「何文字目から何文字目」というような取り出し方もできる。
“`python
string = “hello world!”
p

【python】PDFファイルの文章をテキストファイルに変換してみた

# はじめに
pythonプログラムを使ってサーバー上のPDFファイルを読み取り、テキストファイルに読み込む必要性が出てきたので、調査しました。

## pdfminer.sixのパッケージインストール
PDFを読み込むライブラリとして、「pdfminer.six」パッケージをインストールします。

pipコマンドを使います。

“`
$ pip install pdfminer.six
“`

## 実装したソースコード
LAParamsオブジェクトを作成し、extract_text()のオプションを指定し、抽出結果をテキストファイルにするため、codecsライブ来を使います。

“`python
from pdfminer.layout import LAParams
from io import BytesIO
from urllib import request
from pdfminer.high_level import extract_text
import codecs

url = “https://flora-inc.co.jp/score/%E4%BB%A

MacのpyenvでPython3.11, 3.12をインストールできない

ネット上でまとまった日本語の記事を見つけられなかったので、今後同じ過ちを繰り返さないため＆同じ事態に遭遇して挫折している方の手助けになればと思い作成しました！
## 要約
– 開発PCのMacのCPUがX86_64である。
– homebrewを使用している。
– pyenvでPython3.11, 3.12をインストールできない。
– pyenvインストール時にXCodeのCLangではなくGCCを使用したためにエラーが発生している。
– つまりPATHをいじれば良い。
## はじめに
今回MacにpyenvでPython3.11, 3.12をインストールできない状態になったのでそれを解決した方法を記事にします。
Macユーザーで開発されている方もおられると思いますが、Mac購入時にCPUまで気にされる方は多くないのではないでしょうか？
実は重要な内容だったりします。
今回のPythonがインストールできない原因はCPU依存だったのです。
## 環境について
まず僕のMac環境からです。
– CLIはzshでbrewで各種ツールをインストール。
– direnv、poetry

Mp3ファイルを再生 [python]

# 概要
デジタルフォトフレームは写真のみ再生ですので、バックグラウンドにMP3ファイルを再生するのもよいかなと思ってネットで調べたものをメモしてみます。

# インストールするパッケージ
①サウンドを出力するパッケージをインストールする

・パッケージインストール

~~~bash
pi@RPI3B:~ $ pip install playsound
Looking in indexes: https://pypi.org/simple, https://www.piwheels.org/simple
Collecting playsound
Downloading https://www.piwheels.org/simple/playsound/playsound-1.3.0-py3-none-any.whl (8.0 kB)
Installing collected packages: playsound
Successfully installed playsound-1.3.0
~~~

・サンプルコード

~~~bash
import playsound
playso

Python 標準入力について

# はじめに
　paizaラーニングを活用して、pythonを学んでいます。
　スキルチェックにおいて、標準入力で時間がかかることがあるので、備忘録を兼ねて入力要領を整理しました。 　

# 標準入力とは
　Pythonの組み込み関数“ input() “を使用し、キーボードから入力を受け付けるものです。

　以下の表のとおり整理して記述します。
| 入力値 : 入力先 |入力値が１行 |入力値が複数行 |
|:—————:|:———-:|:————:|
| 数値：変数１つ | ① | ② |
|　　　変数複数 | ③ | ④ |
| 文字：変数１つ | ⑤ | ⑥ |
|　　　変数複数 | ⑦ | ⑧ |

# 数値入力
### ①　変数が1つの場合（入力値が１行）
　（例）入力値が（12）や（1.0）の場合
“`python:入力方法
n =

python勉強記録①

pythonの勉強中で、作りたいものが無いためとりあえず
CPU使用率、memory使用率を取得しDBへ保存するプログラムを作成してみました。

**目的**
– DBの学習
– sqlalchemyの使い方

“`text
Package Version
————————- ———–
altair 5.3.0
pip 24.0
psutil 6.0.0
pytz 2024.1
SQLAlchemy 2.0.31
streamlit 1.36.0
“`

“`python:moniter.py
# pip install psutil
# pip install sqlalchemy
# pip install pytz

import psutil
import datet

表記の訂正 (paizaランク C 相当)

問題
———————————————————————-
paiza 研究所では実験データをわかりやすい形式で保存したいのですが、
機械によって得られる数値には、次のような表記ミスがあることがわかっています。

・ ミス 1
先頭に必要のない 0 がいくつかついてしまう
・ 本来 1 である数値が 0001 と表記されてしまう
・ 本来 0.001 である数値が 00.001 と表記されてしまう

・ ミス 2
小数である数値の末尾に必要のない 0 がいくつかついてしまう
・ 本来 0.1 である数値が 0.10 と表記されてしまう

・ ミス 3
小数である数値に小数点が複数個ついてしまう
ただし、 1 つめの小数点の位置が正しい小数点の位置であるものとします
・ 本来 0.123 である数値が 0.1.2.3 と表記されてしまう。

表記が正しくない可能性のある数値を表す文字列 S が与えられるので、その数値を正しい表記にしてください。
S を数値として扱うと上手く処理が行えないので気をつけ

PCの初期設定(アプリとminiconda)

## 前回までのあらすじと今回の話

前回、PC購入までの経緯をいろいろと記述しました。
(前のPCからzenbook14を買うまで)
今回は、macからwindowsに乗り換えたときにどんな初期設定をしていたかの話を、初めての記事投稿イベントに参加しつつお話させていただきます。

それはそうと、前の記事が96 viewとのことで、いろいろな方に見ていただいたようで、非常にうれしかったです。ありがとうございます。

今回は、初期設定でかなり悪戦苦闘したので、それについての話をしていきます。
悪戦苦闘した過程を記載するので、かなり長くなります。

## installしたアプリケーション
インストールしたアプリは以下の通りです
– python3.12 (MS store経由)
 condaなどのベースに必要
– miniconda (ブラウザ(brave)経由)
 前のパソコンでanacondaを使っていたが、
 インストールされるパッケージが多すぎたのでこちらを選択
– vscode (ブラウザ(brave)経由)
&en