Python関連のことを調べてみた2021年12月24日

ニュースをTF-IDFで解析

##はじめに
自然言語について勉強を始めたばかりの初心者です。
ニュース記事の文章を、いくつか用意して、TF-IDFで類似性を解析しました。
TF-IDFについては、詳しいサイトが沢山あるのでここでの説明は省略します。

##なぜ形態素解析しないのか
自然言語処理では、形態素解析するのが一般的のようです。
しかし、ニュースの記事は「公選法違反容疑」のような熟語と熟語の組み合わせが
多くあります。こういった場合、「公選法」と「違反」と「容疑」に分割されてしまうので
別途、自前でユーザ辞書作成など処理が必要です。
色々試しましたが、うまいことするには、まだ私のレベルが不足しているので
一旦は、漢字だけ抜き出して解析することにしました。

##環境
Google Colaboratory

##使用するデータについて
ニュース記事は、最初の文章に記事の要約が記載されているのが特徴です。
その最初の文章を解析することにしました。
ですが、そのまま利用するわけにもいかないため
実際にあったニュース記事を参考にし、架空のニュース記事を作成しました。

・日付も重要なので漢数字に手で修正　
　例)

[Python][img2pdf] 画像ファイルを PDF に一括変換（コマンドライン）

[前回](https://qiita.com/VoshVolk/items/e2f34fd49fea982c0274)の逆をコマンドラインにて。
ディレクトリ内の全ての画像ファイルを一つの PDF ファイルに出力。
PDF ファイルに画像ファイルを埋め込んでいるので、PDF ファイルサイズは画像ファイル依存。したがって、バイナリレベルは非可逆的。見た目は拡大しなければ、実用的に可逆。
png のアルファチャンネル削除処理にて、OpneCV を使用。破壊的処理なので、テンポラリディレクトリにて処理。
natsort にて”自然順”アルゴリズムで画像ファイルをソート。
-s オプションで画像ファイル個別に PDF ファイルを出力可。
verbose に拘ったら、ダラダラと冗長になってしまった。

“`imgtopdf.py
import sys
import os
import glob
import tempfile
import shutil
import argparse
import img2pdf
from natsort import natsorted
import cv2

魚眼ステレオカメラの距離推定(実装編)

## はじめに

※これは[RICORA Advent Calendar](https://adventar.org/calendars/6389) 12/23 の記事になります。

本記事はカメラのキャリブレーションから始めて距離推定を行うまでの実装について説明を行います。

コードの全体は私のgithubレポジトリにあります。⇒[Fisheye-Depth-Estimation](https://github.com/shun74/Fisheye-Depth-Estimation)

もし[理論編](https://qiita.com/syunnsyunn74/items/155ee816f39691f021d2)の方を読んでいなければそちらから読むことをおススメします。前提知識がある方はこちらからでも大丈夫です。

**目次**

* **ステレオキャリブレーション**
* **ステレオ平行化**
* **2Dルックアップテーブル**
* **正距円筒変換**
* **視差推定**
* **距離推定**
* **実行結果**

さっそくコードを見ていきましょう。クラスで書いている

英語の発音練習に活用：Azure Pronunciation assessmentの使用方法を解説

本記事では英語の発音に関して自動で評価を行う、Azure Cognitive Services Speech SDKの「発音評価（Pronunciation assessment）」の使用方法と実装を解説します。

**本記事の内容**

０. Azureの「発音評価（Pronunciation assessment）」とは
１. リソース「Speech service」の作成
２. SDKを利用した開発環境の用意（Python）
３. まずは音声認識からはじめてみましょう
４. 発音評価を実施する
５. さいごに

## 0. Azureの「発音評価（Pronunciation assessment）」とは

Azureの「発音評価（Pronunciation assessment）」はAzure Cognitive ServicesのSpeechサービスの一機能です [[link1]](https://azure.microsoft.com/ja-jp/services/cognitive-services/#features) , [[link2]](https://

【RestAPI？】初心者向けにざっくり解説

# 目的
最近流行のpython, djangoを触ってAPIを実装しようとしたときに、django_restframeworkなるもので簡単にRESTAPIが実装できると言うことを知ったものの、**RestfulなAPIとはどのようなものか完全には理解できていなかったため**ここで同じように曖昧なイメージを持っている方々に共有してみむとせん。

# 前提
API自体の知識は多少ある方。
RestfulAPIと言う名前を聞いたことがある方

# 概要
REST APIは「REST」と呼ばれるAPIの設計思想に基づいたweb用のapiのこと。
RESTには以下の４原則がある。
①ステートレス
②統一インターフェース
③接続性
④アドレス可能性
以上の四つの原則に従って実装されたAPIのことをRESTAPIと呼ぶ。
具体的に４原則について説明する

# 詳細
### 1. ステートレス
サーバーにユーザーセッションなどの「状態」(ステート)を持たない(レス)前提で情報のやり取りを行う。
→ やり取りが一回ごとに完結する。
→ ２度目のアクセスをしてもサーバー側は何も記憶がない

### 2

PyTorch向けの深層強化学習ライブラリPFRLを試してみた

## PFRL
「[PFRL](https://www.preferred.jp/ja/news/pr20200730/)」は、株式会社Preferred Networksが開発した、PyTorchユーザー向けの深層強化学習ライブラリです。

## PFRL入門
npakaさんのnote記事「[PFRL入門](https://note.com/npaka/n/n60d3891f1325)」が非常に簡潔にまとまっていると思います。

## 学習させてみた
コードに変更を加えずにそのまま学習させてみました。
200回で最高の200に到達しました。

“`bash
episode: 100 R: 13.0
episode: 200 R: 200.0
“`

しかし、学習が進むとなぜか学習しなかったレベルまでスコアが突然下がります。

“`
episode: 100 R: 13.0
episode: 200 R: 200.0
episode: 300 R: 20.0
episode: 400 R: 165.0
episode: 500 R: 31.0
“`
## 何が起きているのか？

コンピュータとオセロ対戦36　～10層のハイパーパラメータ～

https://qiita.com/tt_and_tk/items/068f2afde6db637e189f

[前回](https://qiita.com/tt_and_tk/items/100a2751abe39a95442f)

# 今回の目標
[前回](https://qiita.com/tt_and_tk/items/100a2751abe39a95442f)作成したモデルの正解率を上げるハイパーパラメータを探します。

# ここから本編
## model_test.ipynb
[31の実験](https://qiita.com/tt_and_tk/items/a06e3c9ddf88b0213cb9#%E5%AE%9F%E9%A8%93)の際と同様、まずは精度が悪くてもいいのである程度学習してくれるパラメータを探します。
プログラムは[35のmodel.ipynb](https://qiita.com/tt_and_tk/items/100a2751abe39a95442f#modelipynb)と全く同じものを用いて、そのパラメータを変更しながら実験を行いました。
まず、

PythonとColaboratoryでクリスマスツリーを描いてみた

# メリークリスマス！！

“`
　　　　　　　　　　　　　　★
　　　　　　　　　　　　　★★★
　　　　　　　　　　　　★★★★★
　　　　　　　　　　　★★★★★★★
　　　　　　　　　　★★★★★★★★★
　　　　　　　　　★★★★★★★★★★★
　　　　　　　　★★★★★★★★★★★★★
　　　　　　　★★★★★★★★★★★★★★★
　　　　　　★★★★★★★★★★★★★★★★★
　　　　　★★★★★★★★★★★★★★★★★★★
　　　　★★★★★★★★★★★★★★★★★★★★★
　　　★★★★★★★★★★★★★★★★★★★★★★★
　　★★★★★★★★★★★★★★★★★★★★★★★★★
　★★★★★★★★★★★★★★★★★★★★★★★★★★★
★★★★★★★★★★★★★★★★★★★★★★★★★★★★★
　　　　　　　　　★★★★★★★★★★★
　　　　　　　　★★★★★★★★★★★★★
　　　　　　　★★★★★★★★★★★★★★★
　　　　　　★★★★★★★★★★★★★★★★★
　　　　　★★★★★★★★★★★★★★★★★★★
　　　　★★★★★★★★★★★★★★★★★★

TDnetのXBRLデータで売上高の増減率を比較し、COVID-19からの回復具合を可視化する

XBRLJapanのメンバーKです。

企業の決算情報を取得可能にするXBRLは、EDINETだけでなく様々な報告書に使われています。例えば、決算短信を提供するTDnetの [適時開示情報閲覧サービス][1] でもXBRLデータを入手することができます。

今回は、決算短信のサマリ情報から売上高の増減率を抜き出して、前期時点の増減率（2019年から2020年にかけての増減率）と当期時点の増減率（2020年から2021年にかけての増減率）を比較してみましょう。

# やること

* 四半期決算短信の１ページ目にある、「経営成績」の「売上高」の前年同期比を２期分取得

株式会社 あみやき亭の第１四半期決算短信を例にすると、16.2%と△50.1%の部分を取得します。

* 取得した２期分の売上高増減率を使って、ヒストグラムを描画する
* ヒストグラム

Pyrightのpip経由でのインストールと利用を試してみる

自作Pythonライブラリで、GitHub Actionsなどでのmypyでの型チェックは入れているのですが、追加でPyrightでのチェックも入れたいと思い検証してみたのでその備忘録です。

※普段はCI的に組み込んだりはしていないもののVS Code上でのPylance（内部でPyrightが使われています）での型チェックは使っていました。

※PyrightやPylanceとはなんぞや・・・という方はちょっと古いですが以前記事を書いているのでそれらをご確認ください。

https://qiita.com/simonritchie/items/7492d1c1a3c13b2f27aa

https://qiita.com/simonritchie/items/33ca57cdb5cb2a12ae16

# そもそも何故今までmypyのようにCIに組み込んでいなかったのか

mypyはpipでさくっと入れることができます。一方でPyrightはPythonで書かれているわけではなくpipだけでさくっとインストールが効きませんでした（node.jsなど依存関係で色々考えたりが必要になっ

プロデルで水素原子の電子雲を計算しよう

本記事は「[日本語プログラミング言語「プロデル」 Advent Calendar 2021](https://qiita.com/advent-calendar/2021/produire)」24日目の記事です．

[18日目の記事](https://qiita.com/Mopepe51/items/0612d18db835a2334030) で実装した乱数サンプリングアルゴリズムの実践として，水素原子波動関数の確率密度を計算することで電子雲の散布図を生成してみます．

## 水素原子の電子雲

「水素の原子軌道」というと，このような図↓がよく示されます[^orbital]．

>![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/121120/8dd3f

リア充にリア充を台無しにさせたい

## リア充なんか砕けちゃえ～～～！！！

※この記事は「木更津高専アドカレ2021 2本目」の24日目の記事です。

前→ [“教える”のすゝめ](https://qiita.com/takamasa272/items/5dc4f60d01946981705f) by @takamasa272
次→ [unityで音ゲーを作る]() by @toma09to

ということでどうも、非リア歴が増えていくとすあっぷです。
非リアでリアルが充実してるのでむしろリア充を名乗ってもいいのでは？と思う今日このごろ。

本日はクリスマスイブにふさわしい「リア充を台無しにするアイデア」を、[現役リア充の友達](https://twitter.com/haruto_h13_s)に実装してもらおうと思います。
難易度は激ハードですが、最後まで作れるのでしょうか。
がんばれ～

## 今回のアイデア
今回、彼に挑戦してもらうのは、「男女二人がにっこり写真撮ったら背景を爆破する」というなんともクリスマスにはもってこい、楽しそうなアイデアです。

開発言語はPython，使用ライブラリはみんな大好きOpenC

青春時代を機械学習で懐かしむ

本記事はCraft Egg Advent Calendar 2021の12/24の記事です。
12/23の記事は@mrtm30さんの「[Unity] Adaptive Performanceを試してみた」でした。
# はじめに
メリークリスマス！@tsune_ceです。
2015年以降AIが急速な成長をしている中、私は今までAIに携わってきませんでした。
AIがどういったものか触れてみる為、今回の題材にしてみました。
# なにするか
自分が興味が持てるものを題材にしたほうが学習のモチベーションを保てると思い、「パチスロのボーナス回数予測」にしてみました。
# やること
## プログラミング言語と必要なライブラリ
機械学習が得意なPythonを使用します。
今回使用するライブラリは以下です。

– pandas
データの入手と加工
– matplotlib
データの可視化
– sklearn
機械学習の手法
– category_encoders
文字列を数字にエンコード

## 基本的な機械学習の流れ
機械学習（英語表記：Machine Learn

matplotlib 入門

python のライブラリ matplotlibについて学んでいきたいと思います。

matplotlib とは
======
“`matplotlib“` はpythonのプロットライブラリで、散布図やヒストグラム、棒グラフをコードを使用して作成出来ます。
データ分析に使用されるもので、“`pip“`等でインストールも可能ですが、“`Anaconda“`に含まれていますので今回はそちらを使用します。

全体イメージ
============
今回は “`Jupyter Notebook“`を使用して実際の結果がすぐに分かるようにしました。

まず全体のイメージから理解します。
以下は基本的な散布図です。


“`Figure“` という基盤に “`Axes“` を呼ばれる枠組みを用意します。
Axesの枠組みに定義した

データ分析未経験の新卒エンジニアがレコメンド機能を実装した話

この記事は[レコチョク Advent Calendar 2021](https://qiita.com/advent-calendar/2021/recochoku)の24日目の記事となります。

こんにちは、株式会社レコチョク入社1年目の早坂と申します。
本記事では、今年のレコチョク新卒エンジニア研修の一環で行われた、サービスの企画から開発までを行うハンズオンの中で、私が実装したレコメンド機能についてご紹介します。

まずは新人なので、自己紹介をします。

## 自己紹介
### 趣味
– カメラ
– ビートボックス(ボイパ)
– カラオケ
– 音楽鑑賞
– 好きなアーティスト : RADWIMPS・清水翔太・川崎鷹也・TWICE・SHOW-GO

## 実装に至った背景
レコチョクでは、新卒のエンジニア社員は4・5月にビジネス研修、6月~9月にエンジニア研修があります。

エンジニア研修では、フロントエンドからバックエンドまで様々な技術を学び、最後の1ヶ月間でグループ開発演習があります。演習内容は、新卒内でグループを組み、サービスの企画・設計・実装までを行うという、いわば

Freeで試せるCisco DNAC APIを使ってトラブルシューティングに役立つツールを作ってみよう

#まずは
(*^ω^)/ﾟ･:*【 HAPPY BIRTHDAY to 自分 】*:･ﾟ＼(^ω^*)
なんだかんだで、`print(0x10*3)`歳なんですよ。。。これがやりたいだけで、今日という、この日を選んでしまいました。

#はじめに

この記事はシスコの同志による Cisco Systems Japan Advent Calendar 2021（一枚目） の 24 日目として投稿しています。

2021年版(1枚目): https://qiita.com/advent-calendar/2021/cisco
2021年版(2枚目): https://qiita.com/advent-calendar/2021/cisco2

2017年版: https://qiita.com/advent-calendar/2017/cisco
2018年版: https://qiita.com/advent-calendar/2

Flask-RESTXでAPIを作ってあそぶ(基本編)

# はじめに
pythonのフレームワークで最も有名なのはDjangoだと思います。
今回もDjangoのRest FrameWorkである[DRF](https://www.django-rest-framework.org/)の記事を書こうと思っていました。
しかし、調べているうちにとある記事を見つけてしまったのです。
[Pirates use Flask, the Navy uses Django](https://wakatime.com/blog/14-pirates-use-flask-the-navy-uses-django)(海賊はFlaskを使い、海軍はDjangoを使う)
私は決して海軍なんかではありません。すぐにFlaskの学習を始めました。

## Flaskについて
FlaskはpythonのWebアプリケーションフレームワークでDjangoと人気を2分しています。
Djangoとの違いはなんでしょうか？
Djangoは「フルスタックのMTCライブラリ」で独自のORMが特徴です。膨大な数のパッケージが組み込まれており、一般的には大規模なサービスで使われることが

水やりを自動化して、ポトスを元気にする

#ポトスにお水をあげなくちゃ:seedling:
私の部屋には、毎日つかれた心をいやしてくれる「ポトス」がいます。
今年の5月に100均で購入し、可愛がっていたら、
ぐんぐん育ってくれて…

とにかく、かわいいんです！

2、3日に1度、水やりをやっているのですが、
年に数回、地元へ帰省することがあり、
毎回7〜9日間ほど家をあけることがあります。

家を空けている期間は誰も水やりができないので、
このままでは、大切なポトスが苦しんでしまいます。

.

そんなわけで今回は、大切な観葉植物を毎日元気にするために、
RaspberryPiの工作を通して学んだ知識を活かして
水やりの自動化に挑戦していきました。

#完成イメージ
指定した時間に水やりをして、観葉植物の状態を撮影、
LINEに実行通知と画像を送信するプログラムを動かし

機械学習による株価予測　いろはの”は”

# はじめに
2021年12月18日にNumerai Meetup Japan 2021が開催された（Numeraiについては過去記事「[Numeraiトーナメント～伝統的クオンツと機械学習の融合～](https://qiita.com/blog_UKI/items/469143fe6940f3148880)」を参照のこと）。このMeetupにて[筆者](https://twitter.com/blog_uki)も「Machine Learning for Advancing Traditional Quantitative Approach」と題してプレゼンを行った。

このプレゼン内容をベースとして文字起こししたので「機械学習による株価予測」シリーズいろはの”は”の章の代わりとさせていただく。

なお本記事は[Numerai Advent Calendar 2021](https://adventar.org/calendars/6226)の24日目の記事とさせて頂いている。

### 参考：前回記事
[機械学習による株価予測　いろはの”い”](https://qiita.com/

【python】国会議員の会議出席可否を文章類似度を使って判断してみた

# 何を行うのか？
国会図書館から国会会議録検索システムの検索用APIというものが公表されており自由に使用することができるのでこれを使って国会議員の発言を抽出し、議員の各発言をベクトル化し比較する会議の議題と類似度の高い発言を抽出し類似度が高ければ出席可、類似度が低い発言しかなければ出席不可としました。要はこんな感じ。
## なぜ行うのか？
国会では儀式的な会議が多く寝ていても問題ない無駄な会議が多いと思っていました。そもそも過去の発言からその人の得意分野や出席すべき会議が分かるので議題と関係ない会議には欠席してもらうことによりもっと他の専門的で生産的な議論したりしっかり布団で寝てほしいと思ったのでこのようなものを作成しました。
![スライド1.jpeg](https://qiita-image-store.s3.ap-northeas