Python3関連のことを調べてみた

TIL: pandas のデータ型について

TIL:
・pandas で dtype が object のカラムには str 型と int 型が同居していることがある。
・自動で型推定される時のルールが把握できない。csv 上で同じカラムに同じ文字列「10」が入っている場合でも、 DataFrame に読み込んだら ’10’ (str) になるレコードと 10 (int) になるレコードがある。

→ マージのキーにしたいなど型まで一致してないといけない場合は dtype を与えるのが安全。

【Python】デフォルト引数を使うときは、引数の順序と可変オブジェクトに注意

# 概要
Pythonでデフォルト引数を使ってみたので紹介。

デフォルト引数では、関数を呼び出す際に引数が提供されなかった場合に、デフォルトで使える値が設定できます。
要は、「オプションのパラメーター」になる、ということです。

サンプルコードでみてみるのが早いと思うので実際に以下のように実行しました。

## サンプルコード

“`py
def add_and_display_list_items(items_list, new_item=”apple”):
items_list.append(new_item)
print(“My Fruit List:”, items_list)

my_list = []
add_and_display_list_items(my_list)
add_and_display_list_items(my_list, “banana”)
add_and_display_list_items(my_list, “lemon”)

# 出力
# My Fruit List: [‘apple’]
# My Fruit List: [‘

初めてのdocker ＆Streamlit ＆　FastAPIで詰まった話　 (Caused by NewConnectionError(‘: Failed to establish a new connection: [Errno 111] Connection refused’))

## 備忘録なので一部省略しています。同じエラーになった方がいれば参考にしてください。

## ぶつかった問題
FastAPI,Streamlit,Dockerを使ってwebアプリを作成していました。

出来上がったのでターミナルで
“`bash
docker compose up -d
“`
を実行してwebページのURLを見にいくと以下のエラーが

“` pythpn
ConnectionError: HTTPConnectionPool(host=’backend’, port=8080): Max retries exceeded with url: /select_genre (Caused by NewConnectionError(‘: Failed to establish a new connection: [Errno 111] Connection refused’))
“`
今回は初めての連続だったため何が原因か分からず12時間解決

Python導入

**はじめに**

WEBスクレイピングの為Pythonを導入する手順をまとめていきます。

・目次
1.Pythonのインストール
2.pip（非公式パッケージ管理ツール）の更新
3.パッケージインストール
　3.1.Seleniumのインストール
　3.2.pandasのインストール
　3.3.ChromeDriverのインストール

4.VSCodeインストール
　4.1.VSCodeの拡張機能（Python）
　4.2.VSCodeの拡張機能（Python Indent）
　4.3.VSCodeの拡張機能（Python Docstring Generator）

5.コマンド一覧
etc

スクレイピングの注意点

・スクレイピングを行うWebサイトの利用規約、著作権を事前に確認すること

・robots.txtを確認すること

3.パッケージインストール

https://qiita.com/BubbleBubble/items/d792505582b966bf4941

数式の計算 (paizaランク C 相当)

https://paiza.jp/works/mondai/string_primer/advance_step9

複数桁の計算。

`eval()`を使えば一発だけど、
意図的に考えるとそうではないので、
下記のように実装
でもだめだった。
そもそも、＋と-を覚える順番が間違っていた。
最初の数値をそのままansにいれればいいのだが、
そうではなく数式も入れてしまってたので数値が代わってしまった。

“`py
s = input()
ans = 0
add = True
tmp = “”
for i in range(len(s)):
if s[i] == ‘+’:
add = True
ans += int(tmp)
tmp = “”
elif s[i] == ‘-‘:
add = False
ans -= int(tmp)
tmp = “”
else:
#＋でもーでもなければ数値として登録
tmp += s[i]
if

数式の計算（ 1 桁） Python3編

https://paiza.jp/works/mondai/string_primer/advance_step8

文字列で書かれている数式を確定させて出力させる問題
前回学んだことを活かして下記のように
はじめ、＋かーかそうでなければ数値として、答え変数に代入し、
その後、＋かーかでフラグを立てて
その次の数値をフラグ通りに計算するという方法。

“`py
s = input()
ans = 0
flag = 0
for i in s:
if i == ‘+’:
flag = 1
elif i == ‘-‘:
flag = 2
else:
if flag == 0:
ans = int(i)
elif flag == 1:
ans += int(i)
elif flag == 2:
ans -= int(i)
print(ans)

“`

答えを見てみるともっと簡単になってた。
奇数が数

表記の訂正 (paizaランク C 相当)

https://paiza.jp/works/mondai/string_primer/advance_step7

>・ ミス 1
先頭に必要のない 0 がいくつかついてしまう
・ 本来 1 である数値が 0001 と表記されてしまう
・ 本来 0.001 である数値が 00.001 と表記されてしまう
>
>・ ミス 2
小数である数値の末尾に必要のない 0 がいくつかついてしまう
・ 本来 0.1 である数値が 0.10 と表記されてしまう
>
>・ ミス 3
小数である数値に小数点が複数個ついてしまう
ただし、 1 つめの小数点の位置が正しい小数点の位置であるものとします
・ 本来 0.123 である数値が 0.1.2.3 と表記されてしまう。
>
>表記が正しくない可能性のある数値を表す文字列 S が与えられるので、その数値を正しい表記にしてください。
>S を数値として扱うと上手く処理が行えないので気をつけてください。

はい。すっげえ難しく３０分過ぎてもできなかったのでギブアップ。

ひとまず考えとして
・小数か整数かで場合分け
・整数なら、正規表現で先頭の000だけ消

pygameをいじっていて、早めに理解したかったこと

chat GPTとかの回答をそのまま貼り付けることがあります。
作りながら気づいたことを随時追加していきます。
認識違いや追記などございましたら、ご指摘いただけると嬉しいです。

## surfaceとdisplay surfaceの違い
>pygameにおいて、’surface’と ‘display surface’は異なるものですか?

はい、Pygameにおいて「surface」と「display surface」は異なる概念ですが、両者は関連しています。

Surface: Pygameでは、Surfaceは画像や図形を描画するための基本的なオブジェクトです。これは基本的にピクセルの2次元配列で、いかなるグラフィカルコンテンツもこのSurfaceに描画されます。あなたは多くのSurfaceオブジェクトを作成し、それらに異なるグラフィック（スプライト、テキスト、図形など）を描画することができます。

Display Surface: display surfaceは特別なSurfaceで、これはPygameウィンドウまたはスクリーン上に表示されるメインの画面です。pygame.

【Python/Git】pycacheをgit ignoreする

Pythonのパッケージを実行すると、各パッケージに`__pycache__`フォルダーが自動生成されますよね。
ソース管理上邪魔ですよね。
こうすればいいです。
“`:.gitignore
**/__pycache__/**
“`
こうすることにより、全ディレクトリにある`__pycache__`ディレクトリが全てignoreされます。

:::note
この記事を読んでいる方は、次の記事も読んでいるのかもしれません
* [とりあえず周りと仕事ができるGitHub入門](https://qiita.com/konbraphat51/items/8d4907bf02cfff518462)
:::

じゃんけんゲーム python

# Python初心者が最初に作るゲーム
python を学習してモチベーションが上がらなくなった人向けにコードをかいてみました
ちょっとpythonを学んだけど次何つくっていいかわからない人向けです

エラー処理もfor文も使っていません
最低限の命令文と条件分岐だけで書いたのでツッコミどころ満載ですが逆に初学者がこれより立派なコードが書けたら熟達者は褒めてあげてください。
今回、極力シンプルに関数も使わず書きました

最後の end=input(‘お疲れ様でした’)　の一文はプロンプトのクローズ防止対策です
“`python:janken.py
import random
bot_data = random.randint(1,3)
print (“じゃんけんをしましょう”)
print (“1が’ぐー’、2が’チョキ’、3が’パー’”)
watasi = input (‘何を出しますか？’)
watasi_data = int(watasi)
kekka = bot_data*10+watasi_data
print(‘結果’)
if kekka ==

【Python】Gmail API を使ってメールを送信する

# Gmail API を使ってみる
[Gmail API のガイド](https://developers.google.com/gmail/api/guides?hl=ja)を参考に Gmail アカウントからメール送信を試した際に、躓いた点について備忘録としてまとめておこうと思います。

### サンプルコードをとりあえず実行してみる
[Gmail API ガイドのメール送信](https://developers.google.com/gmail/api/guides/sending?hl=ja)に記載されている「send_message.py」のコードを参考にメール送信を試してみました。
が、ガイドに記載されている以下のコードをコピペして実行してみても、そのままでは動きません。

“`python:send_message.py
import base64
from email.message import EmailMessage

import google.auth
from googleapiclient.discovery import build
from go

【GitHub Actions/Python】自動pytestの際に、testsディレクトリ内のモジュールをimportする

## 状況
このようなコードでGitHub Actionで自動テストを運用しておりました。
“`yml:python-tester.ymlname: unit-test

on:
push:
branches: [“dev”, “main”]
pull_request:
branches: [“dev”, “main”]

jobs:
build:
runs-on: ubuntu-latest
strategy:
fail-fast: false
matrix:
python-version: [“3.8”, “3.9”, “3.10”, “3.11”]

steps:
– uses: actions/checkout@v3
– name: Set up Python ${{ matrix.python-version }}
uses: actions/setup-python@v3
with:
python-vers

【Python】モジュール構成規則を考えてみる

## はじめに
`Python`のモジュール設計、難しいですよね。

* 何を`__init__.py`でまとめるのか（まとめないと、`import`文がすごく多くなる）
* どのようにモジュールの階層を形成するのか
* `circular import`は避けなければならない

という中で、モジュールを上手にディレクトリに配置しなければなりません。
モジュール設計の指針も有名なものはなさそうなので（あればゴメンナサイ）、自分が考えた設計規則を紹介してみたいと思います。

## 紹介
:::note
そのまま使い回せる英語表記`markdown`：[GitHubレポジトリへ飛ぶ](https://github.com/konbraphat51/module_rule/blob/main/RULE.md)
:::

### 条文（和訳）
詳細は後述です。

1. 基本的に下位モジュールに依存してください。メインモジュールをディレクトリ名と同じにして、メインモジュールの下位モジュールはそのディレクトリに入れてください。

1. モジュールAの下位モジュールがある場合は、それらを全て（モジュ

pythonでMeCabを使う

# MeCabのインストール
## pythonでのインストール
“`:install
pip install mecab-python3
“`
## PC本体のインストール
http://taku910.github.io/mecab/#download

ここからダウンロードしてインストールするとwindowsの人は初期設定だと
`C:\Program Files (x86)\MeCab\bin`に`mecab.exe`があるとおもいます

# 使ってみる
## 情報を出力
“`python:nomal.py
import MeCab

tagger = MeCab.Tagger(“”)
input = “記事を書く”
output = tagger.parse(input)

print(output)
“`
“`:出力
記事 名詞,一般,*,*,*,*,記事,キジ,キジ
を 助詞,格助詞,一般,*,*,*,を,ヲ,ヲ
書く 動詞,自立,*,*,五段・カ行イ音便,基本形,書く,カク,カク
EOS
“`
## わかち書き
>わかち書き（わかちがき）

【Django】DBから取得したデータ＆必ず任意のデータを一つ加えたリストからランダムに取り出す

# 概要
Djangoにて、ORMにより特定の条件に一致するデータをDBテーブルから取得し、任意のデータを必ず一つ加えた上で、その中からランダムに一つの要素を取り出すコードを実装しました。

モデル定義は以下。

“`py
class Country(models.Model):
area_id = models.IntegerField(null=True, blank=True)
name = models.CharField(max_length=100, null=True, blank=True)
capital = models.CharField(max_length=100, null=True, blank=True)

class Meta:
db_table = ‘country’
“`

DBテーブルは以下のように登録してある前提です。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2710373/bdcc77

特定のディレクトリ下のファイルを4桁の連番に名前を変更する

# 名前を４桁の連番に変更する

“`python:main.py
import os
import glob

abs_path = os.path.dirname(__file__)

# ディレクトリのパスを指定する
dir_path = str(abs_path) + “/moto_kopikopi”

# 画像ファイルの拡張子を指定する
extensions = [“jpg”, “png”, “gif”]

# 連番の初期値を指定する
num = 1

# 指定したディレクトリにある画像ファイルを検索する
for ext in extensions:
files = glob.glob(os.path.join(dir_path, “*.” + ext))
for file in files:
# ファイル名と拡張子を分割する
base, ext = os.path.splitext(file)
# ４桁の連番にフォーマットする
new_name = “{:04d}”.format(num) +

POSCARからneighbors listの作成（ログ）

# 目標設定
各原子について，ある距離以内の隣接原子がリスト化されたテキストファイルPOSCAR.nnlistを作成する．

## 流れ
1. poscar2nnlistをビルドする．
2. neighbors listを作成したいPOSCARファイル一覧のパスを取得する．
3. 2. のPOSCARファイルからPOSCAR.nnlistファイルを作成する．

## スクリプトの説明
* setup_poscar2nnlist.sh
：poscar2nnlistを環境に合わせてビルドするシェルスクリプト．
* get_C_O_existed_poscar_path_list.sh
：元素種C, Oを含むPOSCARファイル(フォルダ)のリストを得るスクリプト．
入力：
出力：
* mk_nnlist_by_poscar2nnlist.py
：poscar2nnlistとPOSCARファイルからPOSCAR.nnlistを作成するスクリプト．
* 準備：poscar2nnlist
* 入力：POSCARのパスのリスト，（Neighobrsとして設定する

パスワード作成 (paizaランク C 相当)

https://paiza.jp/works/mondai/string_primer/advance_step6

>K さんは paiza のアカウントを作成することにしました。そのためには、パスワードの設定が必要>なことがわかりました。
>そこで K さんは忘れないように、次のようなルールにのっとって N 文字のパスワードを設定するこ>とにしました。
>
>・ ルール
>K さんは N 文字のうち、 Q 文字だけ覚えておく文字を決めておく。
>具体的には n_i 文字目を c_i とだけ決めて、残りの全ての文字を C にする。
>
>K さんの設定したパスワードを当ててください。

という問題。

“`py
N = int(input())
Q = int(input())
for i in range(Q):
A =[list(map(str,input().split()))]
C = input()
for i in range(1,N):
if i == A[i-1][0]:
print(A[i-1][1])
else

重複の削除 (paizaランク C 相当)

https://paiza.jp/works/mondai/string_primer/advance_step5

入力したものから重複を削除して出力せよという問題。
集合を使えばいけるってのは知ってたけど、ちょっとpythonでのやり方があやふやだったので
調べながら復習
知識として知っておくべきところは下記
・集合をつくるには`set()`
・集合の中の要素に同じものがあるかどうかを調べるには`not in`か`in`
・集合に追加するときは`add(element)`
（以下参考。詳しくは使う時に）
・要素を削除: `discard()`, `remove()`, `pop()`, `clear()`
・和集合: `|`演算子, `union()`
・積集合: `&`演算子, `intersection()`
・差集合: `-`演算子, `difference()`
・対称差集合: `^`演算子, `symmetric_difference()`

・ちなみに集合をつくってそれをソートすればいいやんと考えたけど、その場合、問題と意図が違う結果になる。つまり今の文字の順番のまま

Python boto3を使ってS3からオブジェクトの一覧を取得する

今回はboto3でAWSを操作する最初の１歩ということでs3からオブジェクトの一覧を取得するまでやっていこうと思います。
前提としてPythonはインストール済みということで解説していきます。

# boto3の使い方

他のライブラリと同じくインストールが必要です。コマンドプロンプトでインストールします。
“`python3:ライブラリインストール
pip3 install boto3
“`
AWSリソースへアクセスするためにアクセスキー、シークレットアクセスキーが必要になります。
今回はAWSCLIがインストールされているため aws configureコマンドで設定しています。

これでインストールができたので、boto3を呼び出して記述していくだけです。

## boto3の記述方法

boto3の呼び出し方は以下の通りです。基本は以下の３つのステップになります。
１インポート
２クライアント、リソースオブジェクトの作成
３利用したいファンクションの呼び出し

### インポート
インポートは以下の様に記述します。
“`python:boto3インポート
impo