Python関連のことを調べてみた2022年12月16日

[Python3 / poetry] LinuxOS上にpoetryをinstallする方法が切り替わっていた

# 記事の概要

以下の記事に従ってinstallしようとしたところ、エラーが発生してinstallできなかった。

https://qiita.com/ksato9700/items/b893cf1db83605898d8a

そこで、その対策を記載した。

# エラーの状況

記事に記載されている`poetry`のinstall方法は古く(deprecatedに)なっているようでした。

“`bash
$ curl -sSL https://raw.githubusercontent.com/python-poetry/poetry/master/get-poetry.py | python –
Retrieving Poetry metadata

This installer is deprecated, and scheduled for removal from the Poetry repository on or after January 1, 2023.
See https://github.com/python-poetry/poetry/issues/6377

[AWS Lambda / Docker / Python3] AWS Lambdaでdockerイメージを動かそうとして発生したエラーたちの対応

# 概要

serverless frameworkを使って、DockerイメージをAWS Lambdaにデプロイしたところ、いくつものエラーに遭遇したので、その対応をしたお話。

# 今回のディレクトリ構造

“`
root_directory/
　├ Dockerfile
　├ src/
　│　└ handlers/
　│　　　└ filename.py
　└ serverless.yml
“`

# エラーたち

## 1. `Error: Either “handler” or “image” property (not both) needs to be set on function “FuncName”.`

### 1-1. エラー

**handlerかimageのどっちかにしろ**と怒られております: (´ºωº｀):

“`bash:エラー発生状況
$ sls deploy

Deploying func-name to stage stg (ap-northeast-1)ap-northeast-1.amazonaws.com/serverless-fu

機械学習向けWeb UIライブラリ “Gradio”

# はじめに

Gradioは機械学習モデルを操作するためのWeb UIを簡単に作成できるPythonライブラリです。

例えば、ファイルから画像を読み込んで分類するUIを作るとします。そこには画像をアップロードするためのフォームや、分類結果を表示するためのテキストフィールドが必要です。
Gradioを使えば、これらの要素を含むUIを簡単に作成することができます。

以下は[HuggingFaceのWebサイトに公開されている画像分類モデル](https://huggingface.co/google/vit-base-patch16-224)を使って、画像の分類結果を表示するUIを作成した例です。examples引数で与えているのはUIに渡せるサンプル画像です。

“`python
import gradio as gr

gr.Interface.load(
“huggingface/google/vit-base-patch16-224”,
examples=[“./images/cat.jpg”, “./images/man.jpg”]).launch()
`

SudachiPyのoutパラメーター

## はじめに
SudachiPyのいくつかのメソッドに`out`パラメーターが存在します。その引数として`MorphemeList`を渡すと、新しい`MorphemeList`を返す代わりに、渡された`MorphemeList`の中身が上書きされます。この挙動は[NumPy](https://numpy.org/doc/stable/reference/generated/numpy.matmul.html)によく似ています。

## 対応API

* [`Tokenizer.tokenize()`](https://worksapplications.github.io/sudachi.rs/python/api/sudachipy.html#sudachipy.Tokenizer.tokenize)
* [`Morpheme.split()`](https://worksapplications.github.io/sudachi.rs/python/api/sudachipy.html#sudachipy.Morpheme.split)
* [`Dictionary.looku

MLOpsにおけるKPIについて

MLOps（Machine Learning Operations）とは、機械学習プロジェクトを運用するためのプラクティスやツールを指します。その一環として、KPI（Key Performance Indicator）が重要な役割を果たします。

KPIとは、運用の結果を測定するための指標のことです。MLOpsにおいては、機械学習モデルのデプロイや推論のパフォーマンス、可用性、品質、安全性など、様々な観点からKPIを設定し、運用の成果を測定することが重要です。

例えば、モデルのデプロイから推論までの全体的なスループットや推論時間、モデルの予測精度などは、KPIとして検討することができます。また、運用中のモデルが期待する挙動をしているかどうかを確認するためにも、KPIは有用です。

KPIを設定する際には、運用目的やビジネスニーズを考慮した上で、明確で達成可能な目標を設定することが重要です。KPIが適切に設定されていれば、運用の結果を把握し、改善するための参考情報として活用することができます。

一方で、KPIを適切に設定しないと、運用の結果が正しく把握できず、改善が困難になる可能性が

MLOpsのツールの選び方について

MLOps（機械学習の全生命週期管理）は、機械学習モデルの開発、デプロイ、モニタリング、および維持を効率的かつスケーラブルに行うための手法とツールの総称です。MLOpsのツールを選ぶ際には、次のような点を検討することが重要です。

1. プロジェクトの規模や目的に適したものを選ぶ。大規模なプロジェクトであれば、スケーラブルで高性能なツールが必要ですが、小規模なプロジェクトであれば、軽量で使いやすいツールが適しているかもしれません。また、特定の用途に特化したツールもありますので、プロジェクトの目的に応じたものを選ぶことが重要です。

2. 使いやすさや信頼性に注目する。MLOpsのツールは、機械学習の専門家だけでなく、その他のチームメンバーも使用することがあります。そのため、使いやすさや信頼性が高いものを選ぶことが重要です。また、選択したツールが安定しているかどうかも確認することが重要です。

3. インテグレーションや拡張性に注目する。MLOpsのツールは、機械学習プロセスを効率的かつスケーラブルに行うために、他のツールやフレームワークとの統合が求められます。そのため、選択したツールが

OpenCVで上下のあるサンプルの角度を取得する

この記事は[OpenCV Advent Calendar 2022](https://qiita.com/advent-calendar/2022/opencv)の16日目の記事です。
15日目は[OpenCV-pythonをdispatchから読み解く](https://qiita.com/tomoaki_teshima/items/148f4adc763fcc42abe3)を寄稿頂きました。
本記事は異形かつ上下非対称の形状を持ったサンプルの回転角取得についてまとめたものです。
## はじめに
OpenCVではキャプチャー画像から対象物の角度を測定することができますが、丸や四角など基本図形の回転角を測定するのは容易でも実際に測定したいサンプルの多くは異形だったりします。
これが上下(または左右)対象であればよいのですが、非対称の場合困ったことが起きます。
例として下図のスプーンのような図形の場合を考えます。
スプーンの掬う側(「つぼ」と言うらしいです)が真上の時を0°とした場合下図は45°となります。
![image.png](https://qiita-image-store.

【python】勉強メモ-その5（実務で書いたコード）

### 1．はじめに
本日は、実務でのテキスト加工について書きます。

実務でログを取得し、集計を行うことになり取得したログを、集計可能な形式（CSV形式）にしなければ
ならなくなりました。

出力されたログ（r_file.log）を見ると、日時が一番上に書かれており、各メッセージの一番左にありません。
集計するためには、日時を、各メッセージの一番左に追記したCSV形式（w_file.csv）にする必要がありました。

さらに、取得したログ（r_file.log）は、200万行ある状態でした。

“`r_file.log
Tue Nov 11 00:00:00 JST 2022
12 aaa bbb cc:cc:cc:cc ddd
34 eee fff gg:gg:gg:gg hhh

Tue Nov 11 00:00:05 JST 2022
78 iii jjj kk:kk:kk:kk lll
99 mmm nnn oo:oo:oo:oo ppp

Tue Nov 11 00:00:10 JST 2022
12 qqq rrr ss:ss:ss:ss ttt
34 uuu vvv

Paper2Slack~英語論文のアブストを要約・翻訳してSlackへ~

# はじめに
今回は論文のAbstractを抽出し、要約・翻訳を施してSlackへ送るアプリをPythonで作成しました。Abstractは論文を要約していますが、チャットで共有するには少し長いですよね。これを使うことで論文共有がスムーズになるかと思います！

# 目次
* 構成図
* プログラム全体
* Pythonによる実装
1. PDFからAbstractを抽出
2. Transformersによる要約
3. DeepL APIによる翻訳
4. SlackへPOST
* 終わりに
* 参考文献

# 構成図
ITパスポート試験の過去問の “正解選択肢だけ” を分析するためのデータ処理

## この記事の内容

ネタです。
ITパスポートの4択ア、イ、ウ、エのパターンを分析するために、データを構造化してみます。
過去問対策には全くならないので、あまり間に受けないようご注意ください。

## 処理の流れ

1. PDFファイルの取得
1. PDFからテキストの読み取り
1. データの整理
1. 簡単な分析例

## 環境

* macOS Monterey 12.6
* Python 3.8.5
* beautiful-soup
* pandas
* pdfminer
* matplotlib
* データ整理までなら不要
* statsmodels
* 同上

## PDFファイルの取得

ITパスポート試験の過去問ページでPDFが公開されているので、`BeaufulSoup`でダウンロードURLを一括で拾ってローカルにダウンロードします。

“`python
# 使うモジュール
import requests
from urllib.request import urlopen
from

Azure Communication Service Email を使ってメール通知を送ってみた

# はじめに

Microsoft Azure Tech Advent Calendar 2022 16日目の記事です。

日本マイクロソフトの Cloud Solution Architect というロールで主に AI/ML 周りの支援をしている伊藤と言います。

機械学習モデルを使用した異常検知システムから、何かしら API なり SDK (できれば Python) を使ってメール通知を送りたいと思って色々調べていたところ、Azure Communication Service Email が使えそうな雰囲気だったので使ってみました。

なお、Azure Communication Service Email は2022年12月現在パブリックプレビューの位置づけです。もし使用する場合はその前提でご利用ください。

# リソース準備

必要なリソースは

– Azure Communication Service
– Azure Communication Service Email

の2つです。前者がエンドポイントの役割を果たし、後者が実際にメールを送るためのドメイン周りの設定を

機械学習初心者がKaggle Masterになって昇進した話

この記事は[KDDI Engineer&Designer Advent Calendar 2022](https://qiita.com/advent-calendar/2022/engineer-designer)の16日目の記事です。

# はじめに
はじめまして、KDDI株式会社の[@kazuki_y](https://qiita.com/kazuki_y)です。
KDDIではデータサイエンティストのエキスパートとして、お客様向けサービスのデータ分析支援やAI・データ利活用の全社方針策定などの業務を行っております。
コンペ経歴は約2年半でKaggle MasterとSIGNATE Masterの称号を持っています。
本記事では、機械学習初心者がKaggleにどう取り組んで、どのようにKaggle Masterになったのか、Kaggleに取り組んで良かった点を振り返っていきたいと思います。
世の中では度々Kaggleは役に立たない論が出てきますが、私としては昇進もして、賞金も獲得して、技術力も得て、更には自信もついたので超役に立つと思います！本記事が参加への一助になれば幸いです。

【Django】よく使うGeneric Viewをなんとなくまとめてみた

## ListView
一覧表示
オブジェクトのリストをテンプレートに渡す

|クラス変数|役割|例|
|—|—|—|
|model|取得するモデル|Article|
|context_object_name|テンプレートに渡す際のリストの名前|articles|
|pagenated_by|

“`python

“`

感情分析を使って半生を振り返ってみた

本記事は、[ハンズラボ Advent Calendar 2022](https://qiita.com/advent-calendar/2022/handslab) 16日目の記事です。

## 前置き
この記事で技術的に突っ込んだ話はしません。
分析系のライブラリを使ってみたよという体験談的な記事になります。

### はじめに
ブログのネタがないので自分の半生について考えることにしました。
ブログのネタは常にないです。 ネタまみれの半生を送ってみたかったです。

こんぴゅーた君と仲良くなるために大学に入り、それから10年が経とうとしているので振り返るなら良い頃合いだろうと思いました。

### どうやって振り返るの？
手元にちょうどいいデータがあったのでそれを使って振り返ろうと思います。
そうです。 自分の過去のツイートです。

大学入学してから息を吐くようにツイートをしていたので自分の手元には20万ツイートほどのデータがありました。

何かに使うかもしれないと手元にデータを落としておいてくれた過去の自分に感謝しています。　偉いですね。

しかもTwitterはもうやっていない（ア

製造ラインのオペレータが、Pythonメインのバックエンド開発業務に携わるまでのお話

## はじめに
本記事はProgaku Advent Calendar 2022 16日目
担当のけいです。

製造ラインのオペレータだった筆者が、Pythonメインのバックエンド開発案件に参画するまでのお話をまとめてみました。

バックエンドってなんやねんという方は[こちら](https://wa3.i-3-i.info/word18738.html)

## 対象読者
– 異業種からエンジニアに転職したいと考えている方
– プログラミングに興味がある方
– Pythonに興味がある方

## 自己紹介

まず、筆者の略歴をご紹介します。

|年|内容|
|—|—|
|2015|普通科の高校卒業|
|2015|印刷会社で製造ラインの仕事に就く|
|2017|前職でインフラ案件（サーバ運用保守）に参画|
|2019|現職に入社しインフラ案件（システム管理など）に参画|
|2022|現職にてPythonメインのバックエンド開発案件に参画|

## 製造ライン職から、エンジニアになりたいと思った理由
製造ラインの仕事をしていましたが、逃げ恥ブーム真っ只中でエンジニアという業種がキラ

FastAPIを用いてクロマキーAPIをつくろう！

# はじめに
はじめましての方ははじめまして、豊田高専2年情報工学科の[GoRuGoo](https://twitter.com/gorurobo_tech)と申します!「ゴルゴ」と呼んでください！
プログラミング歴も浅く、初めての投稿となります！温かい目で見守ってください…!

# 概要＆制作背景
今回、こうよう祭(文化祭)で2年情報は動物タワーバトルの人間バージョンを展示することになり、来場者の写真の背景を透過する必要がありました。ですが、いちいち画像処理ソフトを使って透過していては時間がかかってしまうのでWeb技術とOpenCVの勉強も兼ねてワンクリックで透過するAPIを作ろう！というノリで作成しました。

# リポジトリ
https://github.com/GoRuGoo/class_exhibition_color_technology

# ディレクトリ構造
クラス化してないのとファイル名が汚いのはご容赦ください、すみません…
uvicornを使ってapp/main.pyを起動してやるとローカルでシステムが立ち上がるようになってます。
app/run.pyではu

ミニマルな静的サイトジェネレータを作っている話

この記事は、[Python Advent Calendar 2022](https://qiita.com/advent-calendar/2022/python) の 16 日目の記事です。

この記事では、最近少しづつ作っている静的サイトジェネレータ [potage](https://github.com/iizukak/potage) をご紹介したいと思います。Python 製です。

## デモ

デモを Github Pages で公開しています。[こちら](https://iizukak.github.io/potage/) のリンクからご覧になれます。スクリーンショットが以下です。
ミニマルな雰囲気なのが分かるかと思います。まだぱっと見で分かるようなバグも残っていまして、完成度はご容赦くださ

Let’s 動画分類！

# はじめに

この記事は、AMBL株式会社 Advent Calendar 2022の16日目の記事になります。是非、他の記事も読んで見て下さい〜:santa_tone2:

私は業務で画像分類のモデル開発を行っております。そんな中Kaggleのコンペでサッカーの動画から「play」なのか「throwin」なのか「challenge」なのかを分類するコンペを見かけました。
見かけただけでやっていません。やりたかったんですけど、時間がなかったと言い訳しておきます。

https://www.kaggle.com/competitions/dfl-bundesliga-data-shootout/overview

ただ、動画分類について気になったのでどんな手法があるのか調査すると、「TimeSformer」と呼ばれるTransformerを用いた動画を理解するための最初のアーキテクチャがあることを知りました。

色々調査したので、今回はこの「TimeSformer」について記事を書きます。
アーキテクチャの細かい部分は全部なし！概要とイメージを掴んでいただけたらと思います。
説明をわ

Lambdaから外部APIへの接続方法（Python）

# 概要
Lambdaから外部のAPIに接続するPythonコードを紹介します。

# 前提条件
– RequestsをLambdaのレイヤーに設定していること
– ダウンロード：https://pypi.org/project/requests/
– レイヤー設定方法：https://qiita.com/t_okkan/items/394a15577bd1aad46ec3
– LambdaのIPが固定化されていること
– 参考：https://qiita.com/Annoske/items/3770c166c7dc5d8d1f24
– 必要なIAM権限が付与されていること

# コード
“`python
import requests
import json

ip = <接続先のアドレス>

def lambda_handler(event, context):
url = “http://{}”.format(ip)
headers = {‘content-type’:

Pythonista3 でAVAudioSourceNode を使って音を生成して鳴らそう！ 後編

この記事は、[Pythonista3 Advent Calendar 2022](https://qiita.com/advent-calendar/2022/pythonista3) の16日目の記事です。

https://qiita.com/advent-calendar/2022/pythonista3

一方的な偏った目線で、Pythonista3 を紹介していきます。

ほぼ毎日iPhone（Pythonista3）で、コーディングをしている者です。よろしくお願いします。

以下、私の2022年12月時点の環境です。

“`sysInfo.log
— SYSTEM INFORMATION —
* Pythonista 3.3 (330025), Default interpreter 3.6.1
* iOS 16.1.1, model iPhone12,1, resolution (portrait) 828.0 x 1792.0 @ 2.0
“`

他の環境(iPad や端末の種類、iOS のバージョン違い)では、意図としない挙動(エラーになる)なる場合もあ