Python3関連のことを調べてみた2022年01月25日

【Twitcasting】気になるあの配信者の配信開始通知をdiscordに送信方法を考えて実装してみた。

#はじめに
趣味で推しの子がよくツイキャスするけど通知に気づけないからdiscordに投げるBotを作りました。
言語はPythonで書いてます。
記事の内容はほぼGitHubにあるものと同じです。メモ程度です。

実際の稼働してる様子はこんな感じ。
詳細は[こちら](https://github.com/renit0424/TwitcasNoticeDiscord)から

Python Seleniumでスクレイピングする時、エラーが爆発

selenium 4.1.0でスクレイピングした時、エラーが多数発生する。
from selenium import webdriver
options = webdriver.ChromeOptions()
driver = webdriver.Chrome(executable_path=’C:/webdriver/chromedriver.exe’)
driver.get(‘https://www.yahoo.co.jp/’)

[python] seleniumのdeepL自動化

# 説明
pythonのseleniumをつかってdeepLという翻訳サイトを操作してファイルの中身を自動的に翻訳できたらよいと思って作ったもの。
バグが多くうまく動かないことが多いです
# 実行環境
* Intel(R) Core(TM) i7-8700 6コア12スレッド
* メモリ16GB
* windows10 64bit
* 仮想8コア、物理4コア
* Python 3.8.11
* ANACONDA
* JupyterLab 3.1.7

#コード
## モジュール
“`python:modules
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from bs4 import BeautifulSoup
import time
import urllib.parse
import os
from joblib import Parallel, delayed
from selenium.webdriver.common.by import By
f

TF-IDFの基本的な考え方と実装方法

# TF-IDF
### 概要
TF-IDF(Term Frequency-Inveerse Document Frequency)は、全ての文書に出現する単語と、一部の文書にしか出現しない単語を区別するための方法である。
Bag of Words(BoW)は各文書の単語ごとの出現回数をカウントしたものであるが、この方法では全ての文書に出現する単語と、一部の文書にしか出現する単語を区別することができない。

### 数式による説明
以降の説明で使用する記号の意味は下記のとおり。

+ $n_{d,t}$ ：文書$d$で単語$t$が出現する回数
+ $df_{t}$ ：単語$t$が出現する文書数
+ $N$ ：全体の文書数
+ $T$ ：1つの文書における単語数の合計

#### TF
TFは、「1つの文書の中に現れる全単語の合計出現回数のうち、その1つの単語がどれだけの割合で出現したか」と定量化した指標である。したがって、ある1つの文書の1つの単語に対して定まる指標である。

“`math
TF_{d,t} = \frac{n_{d,t}}{\sum_{t=1}^{T}n_{d,t}

Bag of Words(BoW)の3つのやり方

# Bag of Wordsとは
Bag of Words(BoW)は、各文書の形態素解析の結果をもとに、単語ごとの出現回数をカウントしたものである。
今回は、下記の3つの文書を対象にBoWを実行する。　

– 子供が走る　
– 車が走る
– 子供の脇を車が走る

＊厳密には形態素は単語より小さな概念であるが、今回は単語として扱っている

# MeCabのインストール
形態素解析を行うための便利なライブラリにMeCabがある。
私はWidowsを使っているのだが、下記のサイトにお世話になった。
[MecabをインストールしてPythonで使う【Windows】](https://self-development.info/mecab%E3%82%92%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB%E3%81%97%E3%81%A6python%E3%81%A7%E4%BD%BF%E3%81%86%E3%80%90windows%E3%80%91/)

# 1. 地道に行う方法
– 必要なライブラリをインポート　

“`py

pyenv-win環境でpipでインストールしたコマンドラインツールが使えない！時

pyenv-winでpath通してpip使えてるのに、pipでインストールしたパッケージ(jupyter等)が使えないときは、`shims`フォルダ除いてみてほしい。

“`:このパスは通ってる（これじゃ足りない)
%USERPROFILE%\.pyenv\pyenv-win\bin
%USERPROFILE%\.pyenv\pyenv-win\shims
“`

ちなみにpipはここに入ってるからコマンドつかえる。pipでインストールされたパッケージは、ここじゃなくて、

“`:ここにインストールされる（このパスを追加すればいい）
%USERPROFILE%\.pyenv\pyenv-win\versions\3.x.x\Scripts
# versionは適当なバージョンを指定する
“`

Python3: 診療・検査医療機関の PDF を JSON に変換

次で公表されている PDF を JSON に変換します。
[診療・検査医療機関の公表について](https://www.pref.tochigi.lg.jp/e04/sinnryoukensa2.html)

小山地区のデータを取得します。

“`bash
wget https://www.pref.tochigi.lg.jp/e04/documents/20220112225313.pdf
“`

PDF の表示

“`bash
evince 20220112225313.pdf
“`


変換

“`bash
pdftotext -layout 20220112225313.pdf
#
./medical_to_json.py 20220112225313.txt oyama_medical.json > tmp01

【6】「いかのおすし」を縦表記しよう

ファイルの名前は，「20211220_[自分の名前].py」でお願いします．

以下ターミナル実行時の出力例です．

“`
い
か
の
お
す
し
“`
https://gyazo.com/d275362db67f52ccd975376177047ee4
↑にも授業資料の演習提示時のgifがあります．

スクレイピングの基本的な流れ

# Webページをダウンロード
こちらサイト( https://codezine.jp/ )にアクセスしてみる。
Requestモジュールを使用する。Webブラウザの代わりにWebサイトにアクセスし、HTTPでデータの送受信を行ってくれる。

“`python
import requests
r = requests.get(‘https://codezine.jp’)
“`

下記のとおりstatus_codeを確認すると、アクセスに成功(200)していることが分かる。

“`python
print(r.status_code)
“`

# Webページから要素を抜き出す
## BeautifulSoup4を使わない場合
ページの内容(HTML)を取得し、\