Python3関連のことを調べてみた2022年01月15日

sam local start-api に authorizer を設定（ごり押し

cf. https://github.com/aws/aws-sam-cli/issues/137

要望はめっちゃあるのに対応する気なさそうなので、

## ごり押し

`template.yaml` は `sam init` したサンプルそのままです。

“`yaml:template.yaml
AWSTemplateFormatVersion: ‘2010-09-09’
Transform: AWS::Serverless-2016-10-31
Description: >
python3.8

Sample SAM Template for sam-app

Globals:
Function:
Timeout: 3

Resources:
HelloWorldFunction:
Type: AWS::Serverless::Function
Properties:
PackageType: Image
Architectures:
– x86_64
Events:
H

駒の顔画像を自動収集する【スクレイピング – Scrapy編】

# はじめに
こんにちは。逆転オセロニアのYouTubeチャンネル「まこちゃんねる」の中の人です。
本稿では、**[公式wiki](https://xn--cckp5c6czi2302avwxa.gamematome.jp/game/964/wiki/%E3%83%88%E3%83%83%E3%83%97%E3%83%9A%E3%83%BC%E3%82%B8)から駒の顔画像を自動収集すること**を目標にします。
今回はPythonの**スクレイピング**フレームワーク、**Scrapy**を利用してみます。

# モチベーション
– オセロニアを題材にしていく上で、画像収集する場面が多いため
– Pythonでスクレイピングを実装したことが無かったので、その練習のため

# スクレイピング（Scraping）とは？
> ウェブサイトから情報を抽出するコンピュータソフトウェア技術のこと。
> [ウェブスクレイピング – Wikipedia ](https://ja.wikipedia.org/wiki/%E3%82%A6%E3%82%A7%E3%83%96%E3%82%B9%E3%82%

DataFrameのリスト要素をNaNが含まれていても結合する方法

DataFrameのリスト要素を結合するとき、要素の値として`NaN`が含まれていると、結果は`NaN`になります。

“`python:期待通りに動かないコード
import pandas as pd
import numpy as np

df_test = pd.DataFrame({
“data1” :[[“1″,”2″,”3”],[“1″,”2″,”3”]],
“data2” :[[“4″,”5″,”6”],[“4″,”5″,”6”]],
“data3” :[[“7″,”8″,”9”],np.nan]
})
result = df_test[“data1”]+ df_test[“data2”]+ df_test[“data3”]
print(result)

# 結果
# 0 [1, 2, 3, 4, 5, 6, 7, 8, 9]
# 1 NaN　← [1, 2, 3, 4, 5, 6] としたい
“`

単純に`fillna()`を使って`NaN`を空リストに変換しようとすると

Windows10で埋め込みPythonパッケージ（Python Enbedded distribution）の作成

# はじめに
Pythonプログラムを配布する際、顧客にPythonランタイムをインストールしなくてもいいように組み込みパッケージを作成します。
ただし以下のランタイムのインストールは必要です。

“`
注釈 埋め込み用配布には Microsoft C Runtime は含まれません。これを提供するのはアプリケーションのインストーラの責務です。そのランタイムは既に以前にユーザのシステムにインストール済みかもしれませんし、Windows Update により自動で更新されているかもしれません。このことはシステムディレクトリに ucrtbase.dll があるか探せばわかります。
“`
# 環境
– windows10
– python-3.10.1-embed-amd64

# 手順

## Pythonのダウンロード

公式からダウンロードします。

https://www.python.org/downloads/windows/

（今回はpython-3.10.1-embed-amd64をダウンロードしました。）

以降、PowerShellで操作します。

“`cmd
P

Python: VSCodeからDocker内で動いているFastAPIにステップ実行デバッグを仕掛ける

# 試した環境

## 開発環境（端末）

* Macbook Air (M1)
* VSCode November 2021 (version 1.63)
* Python 3.9.9 (homebrewでインストールした)

## FastAPIサーバ(Docker)

* Docker Desktop for Mac 4.2.0
* Docker version 20.10.12
* docker-compose version 1.29.2

### コンテナ

* python:3.11-rc linux/x86-64

### pipでインストールしたライブラリ

|Package |Version|
|—————– |——-|
|anyio |3.5.0|
|asgiref |3.4.1|
|click |8.0.3|
|fastapi |0.71.0|
|h11 |0.12.0|
|idna

Astropyでカラーバーがおかしい問題を解決した

##元々は…
`APLpy`というモジュールの`FITSFigure`という関数(?)を使用していたが，どうやら最近の`Python`のアップデートに追いついていないらしく，`3.6`か`3.7`ぐらいでアップデートが終了し，それ以降のバージョンに対応していないようだった．
`Pyenv`でバージョン管理をしているので使えるといえば使えるがなんだか気持ち悪い．

ということで最新の`Python 3.10.1`でも`pip`経由できちんとインストールできた`astropy`だけでFITS画像の出力ができないか模索していた．

##そんなこんなで…

いろいろ参考にしてastropyとmatplotlibでFITS画像をプロットすることができたのだが．．．

“`python
import matplotlib.pyplot as plt
import matplotlib.cm as cm
from astropy.io import fits
import pyregion
from mpl_toolkits.axes_grid1 import make_axes_loca

条件に一致するDatabricks Job一覧取得方法

# 対象読者
– チームで[Databricks](https://databricks.com/jp/)を利用している方
– 既存のJobで細かい条件に一致するものの洗い出しを行いたい方

# 目的
Jobがたくさんあるが、その中でも現在定期実行されているものを確認する。
(応用すれば他の情報でも抽出可能とおもわれます。)

# 流れ
– [Databricks CLI](https://docs.databricks.com/dev-tools/cli/jobs-cli.html)を用いてJob一覧とそれらに紐づく情報をjsonで出力し、
– jupyter notebookで読み込み、
– 確認したい情報を抽出しcsvで出力します。

# 環境
– Mac
– Databricks on AWS
– python
– jupyter notebook

### 事前準備
– [Databricks CLI](https://docs.databricks.com/dev-tools/cli/jobs-cli.html)が利用可能なように準備をしてくださ

PythonからTwitterと天気予報のAPIを使って定期ツイートをする

#初めに
タイトルの通りPythonを使用して定期ツイートをするプログラムを作りました。
使用したライブラリはtweepy、使用した天気予報APIは[天気予報 API（livedoor 天気互換）](https://weather.tsukumijima.net/)です。
lolipopというレンタルサーバー上にアップロードして定期実行させています。

#目次
1.Twitter APIの取得
2.tweepyのインストールとテスト
3.天気予報APIの取得とテスト
4.最後の仕上げ
5.サーバーにアップロード
6.サーバー側にtweepyをインストール
7.サーバー上で定期実行

#1.Twitter APIの取得
これが一番大変でした。
[Twitter API 登録 (アカウント申請方法) から承認されるまでの手順まとめ](https://qiita.com/kngsym2018/items/2524d21455aac111cdee) を参考にして登録しました。
元々持っていたアカウントを使用しました。手順は以下の通りです。

1.電話番号認証をする
2.Twitter Dev

psycopg2.extensionsが見つからない時の対処法

## 概説
djangoでPostgreSQLを使ったWebアプリを作るとき、macOS(intel)の仮想環境上で`showmigration`や`makemigration`を実行しようとしたら`ModuleNotFoundError: No module named ‘psycopg2.extensions’`が出てしまったとき、wheelとsetuptoolsをアップデートした上でpsycopg2-binaryを強制的に再インストールすることで解決した。

## 環境

環境は以下の通りです。

| 名称 | バージョン |
|:-:|:-:|
| macOS | Monterey(12.1) |
|django|4.0.1|
| Python | 3.8.9 |
| brew | 3.3.10 |
| pip | 21.3.1 |
| psycopg2-binary | 2.9.3 |
|PostgreSQL|14.1|

## 対処法

仮想環境上で以下のコマンドを実行してください。

“`:shell
pip install –upgrade wheel

ABC82メモ

# ABC82 メモ
## [A – Round Up the Mean](https://atcoder.jp/contests/abc082/tasks/abc082_a)

$a$と$b$を足して2で割った計算結果を切り上げる。
これは$a+b+1$を2で割って切り捨てたものと等しい。

“`python:82A.py
a, b = map(int, input().split())

ans = (a+b+1)//2
print(ans)
“`

## [B – Two Anagrams](https://atcoder.jp/contests/abc082/tasks/abc082_b)

$s$と$t$を一度リストにして、$s$を昇順、$t$を降順にそれぞれ並び替え、文字列に戻す。
文字列同士の比較演算は、辞書順で比較されるため、問題文通りそのまま比較。

“`python:82B.py
s = input()
t = input()

s = list(s)
t = list(t)

s.sort()
t.sort(reverse=T

Pythonでアナグラムを判別するプログラムの作成

# アナグラムとは
>〘名〙 (anagram) ことばのつづりを換えることによる遊び。単語をばらばらに崩し、全く別の単語を作る。LIVE が EVIL に、TIME が EMIT にの類。
出典:　精選版 日本国語大辞典

例えば、evilとlive, eatとteaなどがアナグラムの例として挙げられます。

# 与えられた配列からアナグラムをグループ分けする

いくつかの単語が格納されたリスト(strs)からアナグラムとなっている単語のグループを返す関数を作ります。

“`Python
def groupingAnagram(strs):
hashMap = {} #ハッシュマップを作成

for s in strs:
key =”.join(sorted(s)) # 文字列をアルファベット順にソートする
if key not in hashMap.keys():
hashMap[key] = [s] # ハッシュマップにキーを作成
e

デッキ画像から駒名称を抜き出す【テンプレートマッチング編】

# はじめに
こんにちは。逆転オセロニアのYouTubeチャンネル「まこちゃんねる」の中の人です。
本稿では、**デッキ画像から駒名称を抜き出すこと**を目標にします。
抜き出す方法はいくつか存在すると思いますが、今回は**テンプレートマッチング**を使った方法を利用してみます。

# モチベーション
リスナーさん**「デッキに入ってる駒名称が分からない！教えて！」**
まこちゃん（うーん…毎回手動で書くの面倒くさいな…ある程度自動化したさ）

# テンプレートマッチングとは？
**入力画像（今回であればデッキ画像）からテンプレート画像に類似する箇所を探索する手法**です。類似度と座標を取得することができます。ただし、回転や拡縮に弱く処理も遅いのが欠点です。

AOJトライに関する知識知見の記録共有：Volume0-0060

# タスク概要

Card Game

https://judge.u-aizu.ac.jp/onlinejudge/description.jsp?id=0060

# コード実装例
TIPS

1. 例外処理含む評価パターンを追加

“`Python
import pprint, sys, time

def core(arg, adv=True, n_cards=10, s_limit=20, k=3):
my_cards = arg[0]
your_cards = arg[1]

n_cards = max([n_cards] + my_cards + your_cards)
if adv:
candidates = [n for n in range(1, s_limit – sum(my_cards)) if n not in my_cards + your_cards]
else:
candidates = [n for n in range(1, n_cards + 1) if n no

Python: 画像データからサムネイルを作成する

“`python
import imghdr
from io import BytesIO

from PIL import Image

def create_square_thumb(
binary_of_fullimage: bytes,
thumb_size: tuple, # サムネイルのサイズ(x, y)を指定する。 例:(100, 100)
thumb_quality: int, # サムネイルの品質を指定する。↓をご参照
) -> bytes:
“””
画像データのbytesから、指定したサイズと品質でサムネイルを作ってbytesで返す。
[thumb_quality: int]
フィルタ ダウンスケーリング品質 アップスケーリング品質 パフォーマンス
PIL.Image.NEAREST ⭐⭐⭐⭐⭐
PIL.Image.BOX ⭐ ⭐⭐⭐⭐

pythonの処理に制限時間を設定する

探索アルゴリズムを実装した際に、「10秒で探索！」など制限時間をつけて探索したいなと思うことがあり、色々探していると`timeout-decorator`という良さげなライブラリがありました。

#### timeout-decorator
https://github.com/pnpnpn/timeout-decorator

pipインストールすれば使えます。

制限時間が来ると強制終了するような使い方は[参考になる記事](https://qiita.com/toshitanian/items/133b42355b7867f5c458)があったのですが、探索アルゴリズムで使う際には制限時間がきたら最新の結果を返すような挙動をさせたいです。

ということで以下のようなコードになりました。

“`python:test
import time
import timeout_decorator

def long_function(i):
time.sleep(4)
return i

class time_limit_class:
def __init__

PythonプログラムからTwitter APIを利用して大量のTweetを取得する

# はじめに

過去の記事（[※1](https://qiita.com/Blaster36/items/4bf54b129f506f814a6c)）で自然言語処理をする機会が増えてますとお伝えしてました。
その対象としては、Twitterも含まれていて、Tweetの取得を試みた時期がありました。
> この2～3か月くらい、筆者は仕事でデータ収集（BeautifulSoupやSeleniumを使ったWebスクレイピング）と自然言語処理（MeCabを使った形態素解析とgensim使った単語の分散表現と感情分析）をする機会が増えてます。

もともと趣味で、プログラムからTweet（投稿）したり、他者のTweetを数件取得したりは経験していました。

が、大量データが必要になったので、既存の有志ブログに掲載のCodeを参考にしながら紹介します。（掲載のCodeが素晴らしく、大変助かりました。）
**[TwitterAPI でツイートを大量に取得。サーバー側エラーも考慮（pythonで）](http://ailaby.com/twitter_api/)**
　※対象は「大量にダウンロード」の節

PythonプログラムからOpenLDAPに接続＆ユーザ情報を取得する

# はじめに

これまでJupyterHub／JupyterLabを利用した分析環境をVirtualBoxもしくはWSL2で整備してきたが、共通して認証にはOpenLDAPを使ってきた。

自宅PCでは自ずと筆者のみの利用ではあるが、会社（組織）で利用するならばユーザ管理をする必要がある。
どれだけのユーザがいて、いつパスワード変更をしたか、etc.

というわけで、OpenLDAPに登録したユーザの情報を取得するプログラムを書いてみようと思う。
なぜプログラムか？かというと、OpenLDAP操作用のWebUIにはFusionDirectoryやphpLDAPadminがあるものの、全ユーザの情報を一覧で取得するのはちょっと面倒と思った次第でして。

そこで、本稿では、**「PythonプログラムからOpenLDAPに接続＆ユーザ情報を取得する方法」**を順に紹介してゆく。

## 本稿で紹介すること

– OpenLDAPの起動
– PythonプログラムでOpenLDAPへの接続
– PythonプログラムでOpenLDAPからユーザ情報の取得

## 本稿で紹介しないこと

–

【Python3】python-ulidで一意なIDを作成する

## 環境

– Ubuntu20.04
– Python3.8.10
– python-ulid1.0.3

## 背景

### 前提事項

オブジェクト指向においてエンティティは「同一性によって識別されるオブジェクト」とされます。つまり、エンティティは一意なIDを持つ必要があります。(一意性が担保できればIDでなくても良いですが)

### 問題意識

今までIDの採番はRDBに任せていました。具体的にはidをautoincrementにしてinsertするときに自動採番するという方式です。

この方法には以下2つの問題があります。

1. DBにinsertするまでエンティティがIDを持たない。(つまり、エンティティの定義を満たしていない状況が生まれる)
2. IDというドメイン層の関心事がインフラ層(DB)の責務になっている。

この問題を解決するには次の要件を満たす手段が必要です。

1. ドメイン層で実現する
1. オブジェクト生成時にIDがセットされる
1. 一意性が担保されている
1. 一意である(DBの主キーとして利用するため)
1. 順序が担保されている(ソー

Raspberry Piでsounddeviceを利用するための準備

## What is sounddevice?
[sounddevice](https://python-sounddevice.readthedocs.io/)は、[PortAudio](http://www.portaudio.com/)ライブラリのバインディングと、[NumPy](https://numpy.org/)配列で生成した信号を再生したり、[NumPy](https://numpy.org/)配列として録音するためのライブラリです。

## Setting audio output for Raspberry Pi
1. `sudo raspi-config`を実行します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2275052/88a83139-9fd9-3d

【簡単】django_restframeworkのjwt認証を最低限実装していく

# 目的
スロットリングの実装は以前に行い、APIを叩く回数に制限をかけることでブルートフォース攻撃などに対策を行なったが、**それだけでAPIに関するセキュリティが万全と言えるわけもない。**
**なぜなら誰でもAPIを叩ける状態になっているから。**そこでこのAPIを認証されたユーザーだけが制限された回数叩けるように認証周りを実装していきたい。

# 実施環境
### ハードウェア環境
| 項目 | 情報 |
|:-:|:-:|
| OS |macOS Catalina(10.15.7) |
|ハードウェア | MacBook Air (11-inch, Early 2015) |
|プロセッサ | 1.6 GHz デュアルコアIntel Core i5|
|メモリ | 4 GB 1600 MHz DDR3 |
|グラフィックス | intel HD Graphics 6000 1536 MB |
### ソフトウェア環境
| 項目 | 情報 |
|:-:|:-:|
| homebrew | 3.3.8 |
| mysql | Ver 8.0.27 f