Python関連のことを調べてみた2021年09月06日

最近見つけたクールなPythonライブラリ6選

本記事は、[Dhilip Subramanian](https://sdhilip.medium.com/)氏による「[6 Cool Python Libraries That I Came Across Recently](https://towardsdatascience.com/6-cool-python-libraries-that-i-came-across-recently-72e05dadd295)」（2021年7月12日公開）の和訳を、著者の許可を得て掲載しているものです。

#最近見つけたクールなPythonライブラリ6選
>機械学習のためのすごいPythonライブラリ

>Image by [Free-Photos](https://pixabay.com/photos/?utm_source=link-attribution&utm_medium=referral&utm_campaign=image&utm_content=1

【Python】毎日Pythonを自動実行するタスクスケジューラを設定してみた

#はじめに
Pythonを使って様々な作業を自動化を進めている方、
「Pythonの実行を自動化」しないと毎日Pythonのプログラムをクリックしないといけません。
例えば先日書いた以下の記事も同様です。

https://qiita.com/hirockio2206/items/eef70ae578d425e9f479

そこでWindows10の場合は、標準で「タスクスケジューラ」というアプリが入っていますのでこれを活用します。
意外設定にとクセがあるので、私がいま成功している設定をお伝えしますのでご参考になれば幸いです。

#環境
・python3.7
・windows10

#タスクスケジューラ
私が設定しているタスクスケジューラの設定を記載します。
ユーザ名などはご自身のアカウントに変更をお願いします。

####1.[全般]タブ
**名前**：任意の名前にします。(例：HP_CHECK)
**説明**：タスクの説明を記載します。(例：abc幼稚園のHPに更新情報がないかチェックします。)
**セキュリティオプション**：
**タスク実行時に使うユーザアカウント**：管理者権

python 初歩の初歩①型について

#データ型とは
`基本`

*int型(整数型)*

例：「1」「-5」など

*float型(浮動小数型)*

例：「0.1」

*str型(文字列型)*

例：「あ」

*bool型(ブール型)*

例：「True」「False」

**出力結果**

展開

“`sample.py
number = 1
number2 = 1.0
greeting = ‘こんにちは’または”こんにちは”
is_ok = True

print(number,type(number)) # >>>1
print(number2 ,type(number)) # >>>1.0
print(greeting ,type(number)) # >>>こんにちは
print(is_

緊急避妊にかかる対面診療が可能な産婦人科医療機関等の一覧をCSVに変換

スプレッドシート

https://docs.google.com/spreadsheets/d/19BF7W4ajfrP3ySBUz6HBZg7GrvefLZsb3mB6jzcmt7w/edit?usp=sharing

camelotだと遅いのと変換できない県があったのでpdfplumberで変換

とりあえず変換のみ

“`python
import pathlib
from urllib.parse import urljoin

import requests
from bs4 import BeautifulSoup

import pdfplumber
import pandas as pd

headers = {
“User-Agent”: “Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko”
}

def fetch_soup(url, parser=”html.parser”):

r = requests.get(url, headers=headers

Minecraftで夏休みの自由研究？・・・の手伝い

2021年8月27日現在・・息子の自由研究がまだ終わっていない・・・
何かないかとネットで探していたところ[こちらのサイト](https://prosense.me/textbooks/)を発見。

数学の教科書を開くと夏休み明けから関数を習うらしい。。
ならばMinecraftで関数グラフを描いてみようということにした。

MinecraftのForgeは既に使っているし（というよりバニラをもう何年もやっていない）息子も自分でお気に入りのMODを探してきて遊んでいる。
とは言っても息子が[マイクラでプログラミングを始めるまでの全手順解説書](https://prosense.me/textbooks/GettingStartedMinecraftProgramming/)を読みながらプログラムを実行できるまで待っていたら年が明けてしまいそうなのでプログラミング環境の設定は私が行った。

今回は関数の値を変化させてみてグラフがどうなるかを確かめることが目的なのでPythonの文法などは無視して、下記プログラムの赤枠部分の変更と実行ボタンの押下を息子が担当。

最初はMinecraftで

RailsマンにとってPandasのDataFrame型がモヤモヤする理由

## PandasのDataFrame型はモヤモヤする
当方、元々Rails歴3年で、最近Kaggleを始めた超初心者なのですが、Railsの経験が活かされる場面もあれば、逆にRailsの経験がバイアスになり混乱する場面もあります。入門してまず躓いたのは、PandasのDataFrame型です。特に`df[‘name’]`や`df.iloc[0]`とやらで混乱してしまいました。

## RailsとPandas テーブルデータの操作の違い
例えば、次のようなテーブルデータからオブジェクトを作成し、1行目・1列目を取り出す場合のコードの違いを比較します。

| id | name |
| — | — |
| 1 | 田中太郎 |
| 2 | 佐藤花子 |
| 3 | 山田一郎 |

### PandasのDataFrame型
“`python
data = {
‘id’: [1, 2, 3],
‘name’: [‘田中太郎’, ‘佐藤花子’, ‘山田一郎’]
}
users = pd.DataFrame(data)

# 1行目を取り出したいとき
users.i

Azure Machine Learning で自作モデルをデプロイする

# はじめに
この記事では Azure Machine Learning（以下、Azure ML）を利用したモデルの学習、そのモデルを推論サービスとしてデプロイする手順を紹介する。今回は Kaggleの [CommonLit Readability Prize](https://www.kaggle.com/c/commonlitreadabilityprize)という自然言語処理系のコンペを題材にして進めた。なお、 Azure ML上の作業の大部分は MicroSoftのドキュメントに沿って進めているため、手順があまり変わらない部分は Tipsのみの記述としている。また、基本的な流れは以下の 4ステップになる。
　1. 環境準備： Azure MLを利用するための準備
　2. データ準備：モデルを学習させるデータの準備
　3. 学習：モデルの作成
　4. デプロイ：作成したモデルをサービスとしてデプロイする

# 環境準備
## Azure ML ワークスペースの作成
まず、Azure ML 上のリソースを管理する最上位リソースであるワークスペースを作成する。手順は[こちらの]

AWSで機械学習！ Amazon Sagemaker【基本編】

# はじめに

時は2021年、「PoC死」と言われていた AI事業も徐々に導入事例が増える一方で、
機械学習サービスの継続的運用 (MLOps) の重要性が増しつつある。
その中で、AWSの機械学習サービスといえば必ず名前が挙がるのが **Amazon SageMaker**である。

本記事ではこの SageMakerの**具体的な使い方**のイメージを掴むために、
**自作のコンテナイメージを用いて学習/推論を行うまで**の一連の手順を示す。

これから AWSで機械学習を始める初学者の方々にとって、少しでも参考になれば幸いである。
また、興味があれば **Azure Machine Learning版**の[こちらの記事](https://qiita.com/ko10/items/2e702e6b1a1f1e60cc05)も是非ご参照いただきたい。

# サマリ

#### 完成図
本記事にて最終的に作成するアーキテクチャを下図に示す。
Amazon SageMakerでは最もオーソドックスな構成だと思われる。
※ Imageはコンテナイメージ、Trainは学習コンテ

PyUSB USBError: [Errno 16] Resource busy への対処療法かもしれないメモ

# 結論

入出力実行(USBデバイスに制御データ・データを送る)前にis_kernel_driver_activeがTrueならdetach_kernel_driverする。

入出力実行後に、usb.util.dispose_resourcesしてからattach_kernel_driver

例。これは手元にあるデバイス用なので、各自適宜変更してください。

“` python3
if dev.is_kernel_driver_active(intf.bInterfaceNumber):
dev.detach_kernel_driver(intf.bInterfaceNumber)
writes = dev.ctrl_transfer(bmRequestType=0x21,
bRequest=0x09,
wValue=0x0200,
data_or_wLength=[1 << 6]) data = dev.re

OpenCVで画像を扱うときの主な処理まとめ

# はじめに
Pythonで画像を扱いたい！となった時のライブラリと言えばOpenCVですよね。

ここでは[公式チュートリアル](http://labs.eecs.tottori-u.ac.jp/sd/Member/oyamada/OpenCV/html/index.html)の中から、自分がよく使う処理をコードと共にまとめたいと思います。

基本的にはモデルの学習用に画像を前処理するのが目的なのでガッツリ画像を重ねたり、変形してみたいなのはやりません。

これからOpenCV使って画像データ扱いたい！という人の参考になれば幸いです。

# 環境・バージョン
AnacondaのJupyterLabを使います。

OpenCVのバージョンは4.5.1です。

# 1. OpenCVのインストール

macなら

“`
brew install opencv
“`
の後に

“`
$ pip install opencv-python
“`
でうまくいくはず。Windowsの方やエラーが出たら…各自ググって頂きたく存じます(投げやり)

# 2. 画像を読み込む
まずは画像

ABC212 C – Min Difference を解いてみた

https://atcoder.jp/contests/abc212/tasks/abc212_c


2重 for で全探索してもよいが、計算量が 4*10^10 となり、TLE となる。
糸口を探すため、とりあえずサンプルを確認してみる。


個人的に注目したのは**入力例3**。
最小値を探すってことは、**数列 A , 数列 B の中から値が近い要素の組み合わせを出せば良い**んだよね？

ココから更に飛躍が入ります。
じゃあ、**数列 A と数列 B を合体して sort し

TensorFlowをソースからビルドする

# はじめに
TensorFlowを使用したところ、以下のエラーが発生しました。

“`
$ python3 -c “from keras import backend as K”
Using TensorFlow backend.
Illegal instruction
“`

CPUがAVX命令に対応していない場合に、上記のエラーが発生するようです。
TensorFlowを実行環境でビルドしなおせばいいという情報があり、1.15.0のソースからビルドすることにしました。

# 実行環境
OS：Windows10のWSL2(Debian)
プロセッサ：Intel(R) Core(TM) i3 CPU M 380 @ 2.53GHz 2.53 GHz
実装RAM：8.00 GB (7.68 GB 使用可能)
Pythonのバージョン：3.7.11

# 参考サイト
以下の公式ページを参考にしました。

https://www.tensorflow.org/install/source?hl=ja

# ビルド手順
※以下は上記の公式ページの「Bazel をインス

gremlin-server コンテナを立ち上げる

# はじめに

gremlin を気軽に使いたいなと思って始めたら、まあまあハマったので、他の方も同じ目に合わないために、記録しておきます。
gremlin console, gremlin python を使うための環境構築を中心に記録していきます。

とにかく、古い海外の情報しか見つけられず、情報整理・実験に時間がかなりかかりました・・

# TL;DR

– サンプルそのままでは動作しない
– gremlin-server.yml をセットアップ
– host を、0.0.0.0 に
– serializer を設定
– remote.yml をセットアップ
– バージョンを揃える！
– バージョンにかなりセンシティブな印象
– gremlin-server
– gremlin-console
– gremlin python
– コード一式は、[こちら](https://github.com/tkosht/gremlin.git)

# セットアップでやったこと

## Dockerfile

### g

Djangoで418 I’m a teapotを実装する

## 418 I’m a teapot
418 I’m a teapotとは1998年のエイプリルフールに発表されたジョークステータスコードです。これをDjangoで実装する方法を見つけたので書いていきます。

## 前提
※ファイル、フォルダ群の階層構造は省略
とりあえずこの記事では前提としてurls.pyは以下のものとします

“`python:urls.py
#import文などは省略
urlpatterns = [
path(“teapot”, views.teapot, name=”teapot”),
]
“`

## 単純に418を返す場合
“`python:views.py
from django.http import HttpResponse

def teapot(request):
return HttpResponse(status=418)
“`
この状態でpython manage.py runserverを行い、http://127.0.0.1:8000/te

CUIでのテキストマイニングって簡単になったなぁと感嘆

# プロローグ

[1年間に発売されたライトノベルのタイトルを、AIテキストマイニングで分析してみた｜岡田勘一［編集者・ライター］｜note](https://note.com/kanichi0203/n/n3149ba40c273)

が気になった。

この方は
[AIテキストマイニング by ユーザーローカル](https://textmining.userlocal.jp/)
というwebサービスを利用しているが、
やっぱCUIでやりたいじゃないっすか。ね。

# 参考にしたもの

[【コード公開】【Python】テキストマイニングしてみた〜ジョブズのスピーチでWordCloudを作ろう \| Analytics Board \| python特化のプログラミングサイト](https://su-gi-rx.com/archives/3031)

# source

[https://github.com/tknr/text_mining](https://github.com/tknr/text_mining)

本体はこんなに短い。

“`
#!/usr/bin/python

Pythonでtwiceの顔判定してみた

#twiceの顔認識アプリ制作してみた

エンジニアに転職希望の者です。Aidemiyにて勉強中です。

今回、好きなアプリを制作してみようという課題で、私の大好きなtwiceに関するアプリを制作してみました。
制作したアプリは、選んだ画像がtwiceの誰なのかを認識するアプリです。

##twiceとは

2015年に結成した韓国の9人組多国籍ガールズグループです。

|　　 | メンバー　　| 国籍　 |
|:-|:-|:-|
| 1| ナヨン| 韓国|
| 2| ジョンヨン| 韓国|
| 3| ジヒョ　| 韓国|
| 4| ダヒョン　| 韓国|
| 5| チェヨン　| 韓国|
| 6| モモ　| 日本|
| 7| サナ　| 日本|
| 8| ミナ　| 日本|
| 9| ツウィ　|台湾　|

歌、ダンスパフォーマンス、スタイル全てが洗練されており、
メンバーの人柄もよく仲がいいところが魅力的です。（twiceについてなら何時間でも語れます）
世界中で人気のグループで、韓国だけでなく日本でもファンが多いです。

【ImageJからPythonへ】napariの使い方 (3)

私事ですが、この前`napari`の中の人の会議に呼ばれて仲良くなりました。それとなんか新機能にコントリビュートしないか的な流れになってるので中の人になるかもしれないです (゜.゜)。

# はじめに

今回は、ボタンや入力欄で構成された画像解析のアプリのようなものを作成しnapariと連携する方法についてまとめます。

なお、本記事はシリーズになっています。

##### 前の記事

– [第1回](https://qiita.com/Hanjin_Liu/items/fcdd9dbbc9fa4fd7df18) … napariの基本操作やレイヤーの扱い方について

– [第2回](https://qiita.com/Hanjin_Liu/items/8a6605cd136e7bf7f352) … スクリプトからUIの各構成要素を操作する方法とカスタムキーバインドについて

`napari`はQtという、GUI作成用ツールをベースに作られています。Qtは歴史が古く、用意されているウィジェットも非常に豊富です。洗練されたウィジェットを作成する場合はQtを直接扱う必要があります

元記事を表示

ABC217 A～E問題解説 python 灰色～茶色コーダー向け #AtCoder

ABC217(AtCoder Beginner Contest 217)　A～E問題の解説記事です。
灰色～茶色コーダーの方向けに解説しています。

その他のABC解説、動画などは以下です。

https://qiita.com/sano192/items/54accd04df62242b70f0

##A – Lexicographic Order

https://atcoder.jp/contests/abc217/tasks/abc217_a

辞書順かどうか？を判定するわけですがpythonでは
if S「主要なプログラミング言語の多くでは、文字列の辞書順による比較は標準ライブラリに含まれる関数

Raspberry Pi Zero でインターホン通知と呼び出しシステムを作る

最近は例のあれの影響で引きこもって自宅警備員してるのですが、宅急便が来たときに自室がインターホンより遠く、聞き逃すことがあったので夏休みに暇つぶしにもいいなってことでRaspberry Piでインターホン通知システムを作ろうと思いました。
あと親が用事で自分を呼び出すのを楽にする目的でボタンを押すと通知を送る機能もつけました。

#用意するもの
– Raspberry Pi Zero WH (はんだ付けはめんどくさいので
– ユニバーサル基板
– ボタン
– 光センサー（ https://akizukidenshi.com/catalog/g/gI-13874/ ）
– LEDx2
– 気合

#回路設計
Raspberry Pi側で光センサー、LEDx2、ボタンをそれぞれ制御したいので、それぞれ1個ずつGPIOに接続できる形にします。

#プログラムを書く
ラズパイを触るのが初めてだったのでPython+RPiを使いました。
https://github.com/sim1222/raspinotify

“`main.py
import RPi.GPIO as GPIO
impor

TensorFlowしか使ったことない初心者がPytorchも触って比較した感想

# はじめに
[[第3版]Python機械学習プログラミング 達人データサイエンティストによる理論と実践](https://book.impress.co.jp/books/1120101017)を使用して機械学習を2ヶ月ほど勉強しております。

深層学習を学ぶにあたって、大きくフレームワークとしては`TensorFlow`と`Pytorch`の2つがあると思います。この書籍では`TensorFlow`を用いていたため、それに従って`TensorFlow`を学び、ある程度は使えるようになったかと思います。ただ`Pytorch`はノータッチ。

そのためKaggleなどのコードが`Pytorch`で書かれてたりすると「ん、`Pytorch`かスルーしよ」ってなってました。
ただ最近GANに興味があり、最新のモデルの論文が`Pytorch`で書かれていることが多く、まぁ使えるライブラリは多いに越したことないよなってことで[コチラ](https://yutaroogawa.github.io/pytorch_tutorials_jp/)の公式チュートリアルを日本語訳版にして頂いたサイトを全力