Python関連のことを調べてみた2022年09月05日

Python 3 エンジニア認定実践ベータ試験を受けて合格しました

忙しい時期に受けて感想が書けていなかったのですが、合格したので体験記として。

6 月の終わりごろに Python 3 エンジニア認定実践ベータ試験を受けて合格しました。
ベータ試験と書いてある通り、Python 3 エンジニア認定実践試験のベータ版として提供されています。

## 試験対策について

実は 6 月は、AWS Cloud Practioner, 情報セキュリティマネジメント試験, Python 3 エンジニア認定実践ベータ試験の 3 つを受けてていました。
対策は 1 週間しか取れませんでした（情報セキュリティマネジメント試験の感想はまた別途…）。

そのため要点を絞って勉強する必要がありました。勉強するにあたって参考にしたのは下記の note 記事です。

[Pythonの新試験： Python 3 エンジニア認定 実践試験 (ベータ試験) に合格したので勉強方法をレポート｜mikumo｜note](https://note.com/39mo/n/n5c414784d5ec)

主教材となっている「Python 実践レシピ」から出るようなので、Amazon で事前に買

Python Asyncio で作る Socket Server

Python の **asyncio** で作成した **socket** サーバーです。 簡単なecho サーバです。 OSレベルのAPI **selectors** を直接使うのではなく、より高レベルの **asyncio**を使うことで簡潔で読みやすいプログラミングが可能となっています。クライアントとのやり取りをasyncioのコルーチンとして書き、イベントループ上で並列実行させています。
[Python Asyncio入門 – Qiita](https://qiita.com/sand/items/0e445a13d81d20ea33c3)

“`Python:main.py
import asyncio, socket

async def handle_client(client, loop):
while data := await loop.sock_recv(client, 1024):
print( f”data = {data}”)
await loop.sock_sendall(client, data)
cl

Kintone REST API用のjson schemaファイルをPythonで生成する

# はじめに
業務上、ETLやEAIツールでAPIからのデータをパースするのに、JSON Schemaでどんな項目があるかを事前定義するJSON Schemaファイルを作成する必要がありました。
pythonで項目一覧をinputにKintoneのレコード一括取得APIのJSON Schemaを生成するプログラムを作りました。
※JSON Schemaに関する説明は本記事では割愛しております。

# 作りたいもの

Kintoneのフィールドコード一覧を元にKintoneレコード一括取得APIようｎJSONスキーマを作成する。

### Input
Kintoneのフィールドコード一覧
`会社名,部署名,担当者名`

### Output
[Kintone REST APIの レコード一括取得](https://developer.cybozu.io/hc/ja/articles/360029152012-%E3%83%AC%E3%82%B3%E3%83%BC%E3%83%89%E3%81%AE%E4%B8%80%E6%8B%AC%E5%8F%96%E5%BE%97)のJSON Sch

Jupiter labでブラウザか開かない時

## 事象
使えない時は
こんなのが出てきたりと

## 原因
わからない、、
## 解決方法
“`:webmanagerをインストール
pip install wedriver_manager
“`
## 解決方法
“`:webmanagerをインストール
pip install wedriver_manager
“`
“`:webmanagerをモジュール化
from webdriver_manager.chrome import ChromeDriverManager
“`

“`:ブラウザを開いてみよう
browser = webdriver.Chrome(ChromeDriverManager().install())
“`
“`:ブラウザを開いてみよう２
browser

「機械学習で競馬予想」をガチで作る〜「予測してみた」で終わらせないAI開発〜

AIが世の中にだいぶ普及してきていることもあり、

「Pythonで競馬AIを作ったら儲かるのか？」
「ディープラーニングで競馬予想したら回収率100%超えた」

などの話題が注目を集めているのを度々目にします。

僕も **「機械学習の技術を使って実際に何か作りたい」** という動機から競馬予想AIの開発を始め、 **「その様子を動画にしたら面白そう」** ということで、次のようなYouTubeチャンネルをやってきました。

https://www.youtube.com/channel/UCDzwXAWu1zIfJuPTTZyWthw

登録者も増え、エラーが出た時のフォローや改善アイデアを議論し合うコミュニティを作るにまで至ったのですが、**実際の運用を考えたり、処理を追加して精度を改善しようと思うと、かなり煩雑で分かりにくいコードになって

Python,Ruby,PHP,Java,JavaScript,Perlの演算子の比較

Qiita > プログラミング言語の比較

Python,Ruby,PHP,Java,JavaScript,Perlの演算子の比較

# Python

https://qiita.com/G-Rape/items/cd3f2f284ba990164564

# Ruby

https://www.tohoho-web.com/ruby/operators.html

# PHP

https://qiita.com/mzmz__02/items/8bfbcf2cd48d9e9f2806

# Java

https://qiita.com/suema0331/items/7045e3ce3e2f5faa9acf

# JavaScript

https://qiita.com/uhyo/items/cc92a553059274d85403

# Perl

https://perlzemi.com/blog/20161005147566.h

Python nlplot で共起ネットワーク表示

Pythonの[`nlplot`パッケージ](https://pypi.org/project/nlplot/)で共起ネットワークを表示しました。
例えば「木下ふみこ」と検索したTwitter結果を取得してnlplotで表示すると以下のような図が出てきます(前処理をいくつか加えているので、単純にやっても以下のとおりにはならないです)。

https://ja.wikipedia.org/wiki/%E6%9C%A8%E4%B8%8B%E5%AF%8C%E7%BE%8E%E5%AD%90

# 環境

|Python/パッケージ|Version|
|:-:|:-:|
|Python|3.9.13|
|nlplot|1.4.0|
|pandas|1.4.3|

# Python Script
コードはシンプルでこんな感じ。`save=True`にした

[備忘録] Flask & word2vecでオススメのプログラミング言語をレコメンドしてくれるAI作ってデプロイまでしてみた

# はじめに
自然言語処理についての学習をする際に、練習として「オススメのプログラミング言語をレコメンドしてくれるAI」を作成したので作成過程を記事に残したいと思います！
こちらが完成した作品です！制作過程を残したいと思います！
https://lang-reccomend-ai-app.herokuapp.com/

モデル構築は行っていないのでそのような内容を期待されている方は読者対象ではありません?

記事に誤りやもっと短くかけるところなどあるかもしれないのでご指摘いただけるとありがたいです！
この記事は主に３つのセクションから成り立ちます。
[1.前処理編](#1-前処理編)
[2.Flask編](#2-Flask編)
[3.デプロイ編](#3-デプロイ編)
皆様が読みたいセクションから読んでも理解できるように記事を書いているつもりなので必要な部分だけ読んでいただいても構いません！
“`HTML:開発環境
Python 3.7
macOS　Monterey
Anaconda
“`
# 1.前処理編
## はじめに
　前処理編ではレコメンドするプログラミング言語をどのように

Google CalendarをPython(Django)から操作する

# 環境
* Anaconda 2.2
* Python 3.8

前提として、Anaconda(Python)、Djangoのセットアップは済んでいるものとします。

# セットアップ
必要な設定を行っていきます。

## Google APIの有効化
公式リファレンスに従って、APIを有効化するプロジェクトを作成。
既存のプロジェクトに対してAPIを有効化する場合、新規にプロジェクトを作成する必要はない。
https://developers.google.com/workspace/guides/create-project?hl=ja

プロジェクトを作成したら、必要なAPIを有効化する。
既存のプロジェクトを使う場合も有効化は必要。
有効化するのは「Google Calendar API」。
https://developers.google.com/workspace/guides/enable-apis?hl=ja

## 認証用のCredentialsを取得
公式リファレンスに従って、認証用クレデンシャルを取得する。

* 3種類の認証方法があるが、今回は「

Windowsでmoviepyを使用する際に、TextClipに日本語が描画されない問題

# 問題
Windowsでmoviepyを使用して動画を出力しても、日本語が映像に合成されない。
TextClipに設定したはずの日本語が描画されない。

# 解決方法
TextClip上で日本語を扱うには以下の2点を守る必要がある
– 日本語に対応したフォントを指定する
– フォントのパスにバックスラッシュ「\\」または「¥」が含まれる場合は、スラッシュ「/」に置き換える

フォントのパスが
“`
C:\Users\UserName\Desktop\project_dir\font_file.otf
“`
であれば、
“`
C:/Users/UserName/Desktop/project_dir/font_file.otf
“`
にする必要がある。

そのため、テキストクリップを生成する際は
“`python
text_clip=TextClip(
‘テキスト’,
# バックスラッシュ(\)をスラッシュ(/)に置換して設定
font=”C:/Users/UserName/Desktop/project_dir/font_

Azure Functions の Python をバージョンアップしてみました

## 概要

備忘録となります。Azure Functions の Linuxで使用されている Python のバージョンを 3.7 から 3.8 にバージョンアップしたときの手順です。

### 実行環境

macOS Monterey 12.3.1
Azure CLI 2.34.1
Azure Functions Core Tools 4.0.3971

### 現在の Python のバージョン

“`
$ az functionapp config show -n -g <リソースグループ名> –query ‘linuxFxVersion’ -o tsv
PYTHON|3.7
“`

### Python のバージョンアップ

“`
az functionapp config set -n -g <リソースグループ名> –linux-fx-version “Python|3.8”
“`

確認

“`
$ az functionapp config show -n -g <リソースグループ名

Spotify APIを用いた各国の音楽嗜好分析

# 目次
[1.はじめに](#はじめに)
[2.分析手法](#分析手法)
[3.利用するデータ](#利用するデータ)
[4.分析](#分析)
[5.まとめ/反省](#まとめ反省)

# はじめに
分析技術、知識についてはほとんど初心者ではありますが、Pythonを用いて音楽データの分析を行いました。
私自身は、音楽データは所有していたいという古い考えを持っていたため、これまでサブスクはあまり多く利用してきていないのですが、SpotifyのAPIから面白いデータが取得できると聞き、これを用いた分析を行うこととしました。
当初の想定としては、Spotifyにて人気楽曲Top50のプレイリストが作成されている63ヶ国について、気象条件や地理的特徴、人口動態といった国の特性と好まれる楽曲の特徴を紐づけることができれば、と期待していましたが、当然のことながらマクロの人口データなどは各国について一意となり、サンプルデータが国の数だけとなってしまうため、断念しました。
そこで今回は分析の一歩目として、まず各国および地域における特性を把握し、それらの特性がどういった要因から形成されたものであるかについ

Qiita表彰プログラムSilver受賞者はどのくらい記事を書いているのか、QiitaAPIを使って調べてみた

Qiitaには[Qiita 表彰プログラム](https://qiita.com/qiita-award)なるものがあります。

別に「いいね」稼ぎでQiita記事を書いているわけではないものの、何かしら定量目標があったほうが「がんばって書こう」とか「他人に意味あるものを書こう」とかそういう気になるなと思い、まずは10000ContributionのSilverを目指してみようと思いました。


まだ6%ちょっとですね。先は長い。

で、目指すうえでふと疑問に思ったのが、**Silver受賞者はどのくらいの記事数を書いているんだろう**ということ。

上の画像のようにいまの自分の投稿が42（これを入れて43）。正直、バズり狙いの記事を書いて、少ない投稿数でContributionを稼ごうみたいなのはやる気が無いものの、「このくらいは書かねば」の目安

機械学習で創造的なことしよ　～Conditional-WGAN-gp × CIFER10編～

# はじめに
こんにちは。前回までは条件付きのDCGANを用いてMNISTの画像生成を行ってきました。今回はカラー画像で、画像生成の難易度もMNISTより高いCIFER10に挑戦したいと思います。また、GANのタイプとしてDCGANから改良が成されたWGAN-gp（この意味は後述）を用いて実装を行います。

DCGANからWGAN-gpに変更した理由として、一つは勉強も含めてというのと、もう一つはDCGANの前回モデル条件ではなぜかCIFER10の画像生成が全くできなかった経緯があります。できないことはないはずで、モデルが悪いのだとは思いますが。

前回同様、Conditional-GANを実装しますので、条件付きのWGAN-gpになります。

前回記事を読まれていない方はこちら参照↓
– [機械学習で創造的なことしよ　～Conditional-GAN × MNIST編１～](https://qiita.com/hilosophy/items/20c00319bad0efa477af#fn-3)
– [機械学習で創造的なことしよ　～Conditional-GAN × MNIST編２～]

Pythonのフレームワーク「Flask」を用いてHelloWolrdしてみた

# 概要

pythonでのWebアプリ開発の経験がなかったため、勉強としてFlaskフレームワークを使用していろいろ作成を行ってみました。
この記事では、Hello Worldレベルの最低限の実装となっています。

# Flaskとは
[Flask Documentation](https://flask.palletsprojects.com/en/2.2.x/)
[Flask 日本語Documentation](https://msiz07-flask-docs-ja.readthedocs.io/ja/latest/)

Flaskは、Python製のマイクロWebフレームワークです。
__マイクロ=コアとなる機能を保ちつつ拡張性を持っている__ という解釈です。
拡張機能を多く持ち、必要に応じて追加することで自由度が高いです。
また、最低限の機能を使うための学習コストが低く、誰にでもすぐに利用することができます。

開発に必要な多くの機能が実装されているという点では、[Django](https://www.djangoproject.com/)の方がフルスタックフレームワー

Pythonテンプレート Web検索

自分用です。
時間ができたら修正します。

# 前提条件
* Anacondaのインストール
参考資料
https://www.javadrive.jp/python/install/index5.html
https://www.anaconda.com/products/distribution

* 開くフォルダの位置を変更
Anaconda Prompt アイコンを右クリックし、「プロパティ」から「作業フォルダ」に Python のスクリプトを置くフォルダを設定

* Driverのインストール
* 「Webdriver chrome」で検索

* Chromeの設定からバージョンを確認し、近いバージョンのドライバーをインストールする

* 実行するフォルダに配置する

* 下記サイトの3つのコマンドを実施
conda install -c conda-forge selenium
conda install -c conda-forge geckodriver
pip install openpyxl
pip install pandas

sele

Pymatgenチュートリアル⑥ XRDのシミュレーションをする

### はじめに

https://qiita.com/ojiya/items/e98a9dd5cb6cd7ad38ca や https://qiita.com/ojiya/items/37b594150115531481f0 の記事に引き続き、PymatgenとOptunaを用いてXRDの解析を行う目的で、Pymatgenの機能を紹介している。この記事では、XRDスペクトルを計算する。と言っても、生真面目にやるわけではなく、結晶構造からピーク位置と強度を計算し、Voigt関数を足し合わせて粉末XRDパターンみたいなものを作るだけだ。先に断っておくと、ここで扱う情報だけでは、本当は粉末XRDパターンを計算することはできないのだが、「OptunaでXRDの解析をすることはできるのか」という仮説の検証ができるくらいにはシミュレーションができるので、一旦はこれで進めるか、と理解してもらいたい。それから、この文章はXRDの基本についてはわかっている人向けに書いている。そこの補足が欲しい場合は、要望があったら書きます。

### 実際のコード
#### PymatgenでのXRDピーク位置、強度

仮想環境の構築・起動 と pythonファイルのexe化

【仮想環境の構築 作成】
————————————————————————————-

https://www.acrovision.jp/career/?p=2254
venvで仮想環境を作成するには、「python -m venv ○○」（○○は仮想環境名）というコマンドを実行します。

cd H:\python_pg/Py_venv
　（仮想環境を作成したいフォルダ階層まで移動）

python -m venv ○○
　（仮想環境の作成　○○ の部分に仮想環境の名前）

【仮想環境の起動】
————————————————————————————-

https://zenn.dev/nekocodex/articles/eb3403961ad9b966ff6e

「①必要なら」
Set-ExecutionPolicy コマンドを使用して、今操作してい

【Pytorch】SegFormerを実装する

# はじめに
ディープラーニングを用いた画像処理タスクの一つに、セグメンテーションが存在します。
セグメンテーションは画像をピクセルごとにクラス分類することで、画像中のオブジェクトを分割します。
従来のセグメンテーションモデル（U-Netなど）はCNN（Convolutional Neural Network）を使用したものが殆どでした。
近年、NLP（自然言語処理）でRNN（Recurrent neural network）、CNNと並ぶ重要なニューラルネットワークの仕組みとしてAttention機構が注目されています。

Attention機構とは、入力データのどこに注目するべきか学習することのできる機構になります。
従来、アテンション機構はRNNやCNNなどと組み合わせて実装されることが専らでしたが、
「Attention Is All You Need」にてアテンション機構のみを用いたNLPモデル「Transformer」が登場しました。
Transformerの登場直後はNLPにおける応用が多かったですが、近年ではNLP以外のタスクにも取り入れられています。

今回実装する「

機械学習(ニューラルネットワーク)基本

# 機械学習とは

機械学習にはさまざまなモデルを使用します。
そのモデルの中の一つがニューラルネットワークです。

# ニューラルネットワークとは

そもそも、機械学習の目的の一つとして、明示的にプログラムをせずともデータを解析することによって予測を行うことができるというものがあります。つまり、機械にも人間のように自分自身で学習して欲しいというわけです。

というわけで、人間の脳の構造を参考に作られたモデルがニューラルネットワークです。
人間の脳は、ニューロン(ノード)とシナプス(エッジ)が、外部刺激(入力)を電気信号として伝達していきます。
この構造をモデル化したものがニューラルネットワークです。

### 具体的な仕組み
Step1
入力層にデータを入力する

Step2
各入力に対して重みwを掛け合わせたものを中間層へ送る。

:::note
重みとは、各入力が最終の出力に対してどの程度の関連を持っているのかを表す指標です。
重みwが大きいほど、その入力は出力との関連が強くなります。
:::

Step3
各中間層をさらに重み付けして出力層へと送り出す。

Step4
出力層