Python3関連のことを調べてみた2021年03月02日

pyppeteerを使ってみた【着手したとこ】

書籍『Pythonクローリング＆スクレイピング[増補改訂版] -データ収集・解析のための実践開発ガイド』と下記記事を参考に実施した
[Pyppeteerを使ってみる](https://zenn.dev/shotakaha/articles/5885cac71af6dc966e97)

AtCoder ABC193振り返り(灰コーダー　AB2完)

注意：この記事は競プロ初心者が茶色を目指すために復習や反省するだけの記事です。使用言語はPython3で現状のパフォーマンスは200-400程度です。
あくまで自分の備忘録ですが同レベルの方の新しい発見に繋がれば嬉しいです。

#結果
A問題 正解
B問題 正解
C問題 大まかな形までは作れた
D問題以降 考える時間なし

#B問題

“`Python:B.py

N=int(input())
data=[]
c=0
for i in range(N):
data.append(input().split())
#dataに[時間　値段　個数]を各パターン入れた二次元配列
m=[-1]
for i in data:
#売り切れるかどうか
if int(i[2])-int(i[0])>0:
#買えるならmに値段を代入
m.append(int(i[1]))
#mをソートして結果を出力
ans=sorted(m)
if len(ans)>1:
print(ans[1])
else:
print(ans[0])

“

Discord BotをPythonで！（discord.py）

#最初に
この記事はpythonでのdiscord bot制作方法をまとめたものです。

ある程度のpython基礎知識が必要です。あとasyncioについての軽い知識があると便利です。

discord.pyを利用しbotを作成していきます。
botアカウントの作成はすでにできているという前提の元進めていきます。
#discord.pyのインストール
“`python
$ python3 -m pip install -U “discord.py[voice]”
“`
#Botのひな形
“`python
import discord

#TOKENには動かすbotのトークンを入れてください
TOKEN=’***************************’

#最新のdiscord.pyを利用している人は一部の機能が制限？されているのでdiscord.Intents.allしてあげます。詳しくは調べればわかる
intents=discord.Intents.all()

#オブジェクト作成
client=discord.Client(intents=intents)

#

‘Int64Index’ object has no attribute ‘reshape’の解決法

#はじめに
オライリージャパンの「Pyhtonではじめる機械学習」のp.238にて，citibikeの時刻データをPOSIX時刻に変換するコードで以下のようなエラーが発生した．

“`python
X = citibike.index.astype(“int64”).reshape(-1,1) //10**9
“`

**エラー内容**

“`python
AttributeError: ‘Int64Index’ object has no attribute ‘reshape’
“`

#解決法
以下のように元のコードに**values**を加えると解決できます．

“`python
X = citibike.index.astype(“int64”).values.reshape(-1,1) //10**9
“`

どうも自分の持っている書籍の版が古いらしく，おそらく修正前のやつであるっぽいですね．．．（いろいろとエラーが多いと感じる笑）

Bag of Words Model (BOW) from Zero

It’s common to interpret data in numbers in machine learning, deep learning, and statistical modeling. Particularly in NLP, it is necessary to represent text numerically. There are numerous ways to express text numerically. One of the known techniques is Bag of Words which is known as BOW. We can quickly build a BOW model using Scikit-Learn, NLTK and etc.

For a beginner, I think it’s better to understand the concept under the BOW. So I will implement the BOW model from zero and try to explain

ブラックジャックを完璧にプレーイングするPythonプログラムを組んで、儲けることができるか検証した結果

タイトルに興味を示していただきありがとうございます。
初めての記事のため読みづらいところがあると思いますが、ぜひ最後まで読んでいただきますと、ブラックジャックのルールや完璧にプレーイングするPythonプログラムの内容について理解していただけると思います。ちなみにPythonを学び始めてあまりたっていないのでクラスのところでとんちんかんなことを言ってる可能性があるので、その場合は指摘をお願いします。

#２０万円すった話と結論
では早速結論から申し上げたいと思います。ブラックジャックにおけるチートシートであるベーシックストラテジー（後述）通りの完璧なプレーイングをしても最後には必ず全持ち金が消え去ります。（縦：所持金　横：プレー回数）

ギャンブルで一攫千金なんて甘い話は本当に存在しないらしいです。しかし著者がこれに気

文字が含まれているかいないかの判別

備忘録.こんな風にできるとは思わんだ.

“`py
a = input()
if “RRR” in a:
print(3)
elif “RR” in a:
print(2)
elif “R” in a:
print(1)
else:
print(0)
“`

cocoデータセットのjsonをtxtに変える方法

#はじめに
今回は、深層学習のデータセットで有名な**cocoデータセット**の`jsonファイル`からアノテーションの`txtファイル`に変換するコードを紹介します。
アルバイト中に「jsonからtxtのアノテーションファイルってどうやって作るんだ？」という問題にぶつかり、色々調べて解決できたのでせっかくだから記事に起こそうという感じで今回は執筆しています。
実は、他の方が紹介されているwebサイトがあったのですが、`404`とサイトが閉鎖されていたため自分が新しく書き直すことにしました。
それでは、内容の方に入っていきましょう！

#実験環境
コードの紹介に入る前にひとまず実験環境と使ったjsonファイルだけ紹介します。

>* GoogleColaboratory
>* [Jsonファイル](https://github.com/ACI-Institute/faces4coco)

## コードの紹介
それでは今回使ったコードです！
最後にまとめて載せているのでそこだけ欲しいという人は途中は飛ばしてください（＾＾）

まず必要ライブラリのインポートです。

“`.py
fro

【初学者向け】Python基礎を総まとめ~アプリも紹介~

この記事はこれからPythonを学んでいこうという人のための記事になります。
AIや解析などで注目が上がるpythonの基本をまとめてみました。
言葉の説明は細かくはしていませんので、わからないことは都度都度でググればより理解が深まると思います。
内容に合わせて「寄り道編」を用意しています。
読み進めると文字当てゲームや電卓、パスワード解析などのアプリ紹介もしているので手を動かしてやってみたい人は参考にしてみてください。

この記事を読むことで学習できる内容は以下の通り。
①　5つの基本操作 [ 文字 / 描画 / 数字 / 計算 / インプット ]
②　基本その２：[リスト型 / タプル型 / 辞書型 / 関数 / 条件分岐 / 応用 ]
③　基本その3：[ while / for / ネスト処理 / 変換 ]
④　基本その4:[ バリデーション / ファイル操作 ]
⑤　基本その5:[ クラスとオブジェクト ]

#実行環境
・python 3.9
・VSCode
・MacOS 10.15.7

### 5つの基本操作：[ 文字 / 描画 / 数字 / 計算 / インプッ

Jupyter Notebookの使用ブラウザを変更する

# 設定ファイルの作成

Windows10でやっています。

anaconda promptを開いて下記のコードを実行

“`bash
jupyter notebook –generate-config
“`

下記のようにWritingと出たら`jupyter_notebook_config.py`が作成されます。

“`bash
Writing default config to: C:\Users\{ユーザー名}\.jupyter\jupyter_notebook_config.py
“`

Overwriteと表示されたらすでにファイルが存在デフォルト状態に上書きされるので気を付けてください。

“`bash
Overwrite default config to: C:\Users\{ユーザー名}\.jupyter\jupyter_notebook_config.py
“`

# 設定ファイルの編集

作成されたファイルをテキストエディターで開き編集します。

`c.NotebookApp.browser`と検索すると編集したい箇所まで飛べます。
変更したい箇

Tweepyで出来る事まとめ

# 概要
Tweepyで出来る事をまとめる。

## HomeのTimeline Tweetsを取得
“`python

public_tweets = api.home_timeline()
for tweet in public_tweets:
print(tweet.text)
“`

## あるユーザーのモデルを取得&モデルのメソッドを使用
“`python

user = api.get_user(‘twitter’)
print(user.screen_name)
print(user.followers_count)
for friend in user.friends():
print(friend.screen_name)
“`

### モデルのメソッドの内容
***

## フォロワーを全てフォローする
“`python

for follower in tweepy.Cursor(api.followers).items():
follower.follow()
“`
## ツイートの取得
### 指定した単語を含むツイートを取

都市鉄道の混雑率調査結果（令和元年度実績）のPDFからデータを抽出して混雑率のランキングを作成

https://www.mlit.go.jp/report/press/tetsudo04_hh_000095.html

から「資料３：最混雑区間における混雑率（2019）（PDF形式）」から混雑率ランキングを作成する

“`
# PDFをダウンロード
wget https://www.mlit.go.jp/report/press/content/001365144.pdf -O data.pdf

# pdfplumberをインストール
pip install pdfplumber
pip install pandas
“`

“`python
import pdfplumber
import pandas as pd

with pdfplumber.open(“data.pdf”) as pdf:

dfs = []

for page in pdf.pages:

table = page.extract_table()

col = [“”.join(i.split()) if i else “線路” for i in

AtCoder Beginner Contest 174 C問題

AtCoderを始めましたが、ABCのA・B問題はほぼ解ける、C問題は運が良ければ解けるというレベルです。
まずはC問題を難なく解けるというの目標に、まずは過去問のC問題までをどんどんやっていってます。

自力では解けなかった問題を、解説を見て、理解した内容の整理とその結果のコードを書いていきたいと思います。

#問題

https://atcoder.jp/contests/abc174/tasks/abc174_c

>高橋君は K の倍数と 7 が好きです。
>7,77,777,… という数列の中に初めて K の倍数が登場するのは何項目ですか？
>存在しない場合は代わりに -1 を出力してください。

#解けなかった原因
ループで末尾に７を追加して1桁増やしながら、Kで割れたら桁数を出力して終了させればいいかと思ったが、
以下がわからず行き詰まる。

1. 存在しない場合の判定方法がわからない。
   どこまで7を追加したらもう割り切れる数値が存在しないと判断できるのか
2. 桁数がどんどん増えていった結果、例えばサンプル3だと10⁹⁹

Playwright for PythonをWindows10で動かす

#環境
Windows 10
Python3.9

# インストール
とりあえずPlaywrightをpipでインストール

“`
pip install playwright
“`

一回Playwrightを実行

“`
playwright codegen https://ja.wikipedia.org/
“`

こんな感じでエラーになる。

“`
(node:20312) UnhandledPromiseRejectionWarning: browserType.launch: Failed to launch chromium because executable doesn’t exist at C:\Users\\AppData\Local\ms-
playwright\chromium-854489\chrome-win\chrome.exe
Try re-installing playwright with “npm install playwright”Error
“`

npmでplaywrightをインストールしろとか言われてる

pythonをソースコードからUbuntuにインストールする

#前置き

pythonをコンパイルする方法について色々記事はあふれているものの、
前提条件の違いでうまくいかず・・・

Ubuntu16.04のクリーンインストール状態から、
インストール完了までをまとめた。これでだいたいうまくいくはず。

#環境

Ubuntu16.04 LTS server (64bit)をインストール直後の状態

#ゴール

最新のpython3.9.2のインストール完了

#環境の最新化

まず、パッケージリストを最新化します。

osoper@ubuntu1604:~$ sudo apt-get update

そして一括アップグレードします

osoper@ubuntu1604:~$ sudo apt-get upgrad

#コンパイル環境を整える
pythonのソースコードのコンパイルに必要なパッケージを導入する

osoper@ubuntu1604:~$ sudo apt install build-essential \

> libbz2-

pythonでクレカの確定明細から確定金額をLINEに通知する

#目的
パートナーがいる方は共有でかかったお金をなんらかの形で管理しているかと思います。
今回はJCBのクレジットカード当月確定分の金額をLINEに送信するというプログラムを作成しました。

#環境構築
windows8
anacondaをインストール
python3.7.5

#ソース
ソースの説明をすると、
まずPhantomJSと呼ばれるプログラム上でブラウザの実行ができる環境を利用しています。
そしてブラウザの操作の部分はseleniumと呼ばれるライブラリを使用しています。

PhantomJSとseleniumでブラウザ操作してMYJCB画面の当月確定分の金額を取得して、
LINEのNotifyにリクエストを投げています。

これを毎月決まった日にいちいちログインせずとも自動実行させてかかった金額をパートナーに教えてあげられます。

```python:kurekameisai.py
# -*- coding: utf-8 -*-
import urllib.request
from selenium import webdriver
import time
from se

Pythonでread_excel（）を記述するとエラーになる件

Widnws10 Pro
Python 3.9

Pythonでエクセルを操作してするコードを書いた。
以下のエラーが発生した
```

```
raise XLRDError(FILE_FORMAT_DESCRIPTIONS[file_format]+'; not supported')
xlrd.biffh.XLRDError: Excel xlsx file; not supported

````
[pandas+xlrdでxlsxを開こうとするとxlrd.biffh.XLRDError: Excel xlsx file; not supportedのエラーが出る ](https://heppoco-cto.com/pandasxlrd%E3%81%A7xlsx%E3%82%92%E9%96%8B%E3%81%93%E3%81%86%E3%81%A8%E3%81%99%E3%82%8B%E3%81%A8xlrd-biffh-xlrderror-excel-xlsx-file-not-supported%E3%81%AE%E3%82%A8%E3%83%A9%E3%83%BC%

"STOP: TOTAL NO. of ITERATIONS REACHED LIMIT."の解決法

#はじめに
Pythonでロジスティック回帰（LogisticRegression）を用いた時，一応実行はできるが以下のような警告文が発生することがあった．

```python:Python
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
X_train,X_test,y_train,y_test = train_test_split(X,y,random_state=0)
logreg = LogisticRegression()
logreg.fit(X_train,y_train)
print("Test score: {:.2f}".format(logreg.score(X_test,y_test)))
```
**警告内容**

```python
STOP: TOTAL NO. of ITERATIONS REACHED LIMIT.
```
#解決法
原因は，LogisticRegressionの最大反復回数

【実践編】Discord.py Botを作ってみる

こんにちは Taitaitatata(Taitaitatata418#5407)です。
Botって便利ですよね。「MEE6」とか「顔文字で返してくるうざいBot」とか、
そいうやつ作ってみませんか?
この記事はDiscord.pyを使ってBotを作るという記事です。
**この記事はとりあえず作ってみたい人向けの記事です**
#はじめに
この記事は前回の[記事](https://qiita.com/taitaitatata/items/1039dc1786bf27c3def9)読んでいる前提で作っています。読んでいない方はまずそっちを読んでからこの記事をお読みください。

また今回使う言語はPython3.8.6です。
[.NET(C#)](https://qiita.com/tags/discord.net)や[Java](https://qiita.com/search?q=Discord+Java), ruby, [Javascript](https://qiita.com/tags/discord.js)ではありません.

癒やし動画((((((は?:https://www.yo

気象関係でよく見るカラーマップをmatplotlibで再現する

# 気象関係でよく見るカラーマップをmatplotlibで再現する

## はじめに

matplotlibで気象関係の図を描くときに、カラーマップをmatplotlib搭載のものではなく、grads標準のものや気象庁で公開されているものに合わせたいことがある。

本記事では以下のような感じでそれらのカラーマップを自作して、matplotlibでも同様の配色の図を作成できるようにする。


## 環境

python 3.7.8
matplotlib 3.3.2
numpy 1.19.2
cartopy 0.18.0 緯度経度座標でのプロットに利用
xarray 0.16.1 netcdfデータの読み込みに利用

プログラムの実行はjupyterlabで行った

## 自作のカラーマップを作る

カラーマップ作成に必要なモジュールのインポート