Python3関連のことを調べてみた2020年08月24日

OpenCVで日本語の画像ファイルを読み書きする方法

## 概要
OpenCVで画像ファイルを読み込む場合、imread、imwriteをよく使用するが、
imread、imwriteはASCII文字のみ使用可能なため、UNICODE文字の日本語があるとエラーになってしまう。
今回は、imread、imwriteするときに日本語ファイル名でも読み書き出来る方法を記載する。

## 前提条件
– Python3.7.3
– OpenCV 4.2

### サンプルプログラム
“`cv2_unicode_readwrite.py

import cv2
import os
import numpy as np

def main():

READ_FILE = “./テスト.jpg”
WRITE_FILE = “./テスト2.jpg”

# 読込
f = cv2.imdecode(np.fromfile(READ_FILE, dtype=np.uint8),
cv2.IMREAD_UNCHANGED)

# 64×64にリサイズを実施
resize_fa

KaggleとKerasで始めるディープラーニング画像分析

#はじめに

この記事では画僧分析の入門としてKaggleの開発環境(Kernel notebook)とKerasを用いたMNISTデータセットの分類を紹介します。
Kaggle上ではKernelを公開しているので、自分でも動かしたい場合などは併せてご覧になってください。

– https://www.kaggle.com/taiga518/keras-deep-learning

間違い、質問、コメントなどあればぜひお声がけください。
LGTM頂けると励みになります！

#Kaggleとは
Kaggleはオンラインで行う世界最大の分析コンペティションです。
また、分析にすぐに取り組めるKernel notebookというオンライン開発環境が用意されており、データ分析の入門には最適だと思います。
本記事ではKaggleに既に登録しており、Kernelの使い方がわかる方を対象にしています。
（ご存じない方も参考になる記事はたくさんあるのですぐにキャッチアップできると思います。）

より詳しくは以下を参照ください。
– [Kaggleを始める人に役に立つ記事](https://qiita.

macOS で pyenv install すると BUILD FAILED となり Python のインストールに失敗するときの解決法 (の一つ)

# 解決法
pyenv を使用して Python をインストールしたところ BUILD FAILED となりインストールに失敗しました。原因は binutils でした。binutils を一旦アンインストールしてから再実行したらうまくいきました。

“`shell
$ brew uninstall binutils
$ pyenv install
$ brew install binutils
“`

なぜ binutils がインストールされているとインストールに失敗するのかはよくわかりませんでした。

“[pyenv install build failed macos](https://www.google.com/search?q=pyenv+install+build+failed+macos)” などで調べてみるとたくさん記事が出てくるのですが、どれも解決法がバラバラでした。自分の場合は binutils をアンインストールするだけで解決したので、解決法の一つとして共有しておきます。参考になれば幸いです。

# 環境
| 環境 | バ

Pandas備忘録

# 概要

Pandasで個人的に覚えておきたいこと一覧
随時更新します

# 課題一覧

### 1・2用のサンプルcsv

|Japan|||||America|||||
|:-:|:-:|:-:|:-:|:-:|:-:|:-:|:-:|:-:|:-:|
|month|start|end|worktime|memo|month|start|end|worktime|memo|
|20200408|900|1730|8.5|hello|20200408|900|1730|8.5|hello|

### 1. カラムが複数行存在する際に、2行目をカラム名とする方法
### 2. 複数行のカラムの読み込み

# 方法

### 1・2用のサンプルcsv

|Japan|||||America|||||
|:-:|:-:|:-:|:-:|:-:|:-:|:-:|:-:|:-:|:-:|
|month|start|end|worktime|memo|month|start|end|worktime|memo|
|20200408|900|1730|8.5|hello|20200408|90

ColaboratoryでTensorFlowのチュートリアルをやるPart1+α

[前回](https://qiita.com/rdongjian0079/items/5c5d89385f9740629727)＜＜今回＞＞

##初めに
前回は映画レビューによるテキスト分類を行いました。しかし、検証データが改善されていないのに関わらず学習を続けてしまいました。今回は、検証データに改善が見られない場合、学習を中断するコールバックを実装します。

##実装
[前回](https://qiita.com/rdongjian0079/items/5c5d89385f9740629727) のモデル学習のコードだけ変えます。

“`ruby:code
early_stop = tf.keras.callbacks.EarlyStopping(monitor=’val_loss’, patience=3)

history = model.fit(partial_x_train,
partial_y_train,
epochs=40,
batch_size=

AtCoder Beginner Contest 176

##[A – Takoyaki](https://atcoder.jp/contests/abc176/tasks/abc176_a)

“`C++:C++
#include
#include
#include
#include
#include
#include
#include

Python3でUTC（整数秒）

Python3で現在時刻のUTC秒を取得する方法を探そうとしたら、あまりそのものズバリじゃない、情報が盛りだくさんのが多いなぁ、と思ったので。

– ズバリのプログラム

“`python
import time

x = int(time.time())
print(x)
“`

– 実行結果

“`text
1598166633
“`

– 確認用サイト
[時刻変換ツール](http://kujiira.com/tools/date)

– 確認用コマンド(`date -r`)

“`zsh
% date -r 1598166633
2020年 8月23日 日曜日 16時10分33秒 JST
“`
– 長いプログラム

“`python
import time

utc_float = time.time()
print(“utc_float: ” + str(utc_float) + ” ” + str(type(utc_float)))
utc_int = int(time.time())
print(“utc_int: ” + str(utc_int) + “

実験データの解析をPythonでするための基礎

久しぶりの投稿です。私は普段、実験系の研究室（物理系）に所属して日々研究をして過ごしているのですが、私がこれまで使ってきた実験データの解析手法を公開したら誰かの役に立つのではないかとふと思い、記事を書くことにしました。これからPythonを使って実験データの解析をしたいと思っている人の助けになれば幸いです。

## この記事に書くこと
タイトルにもあるように、私は実験をしてデータの解析をするときにPython (Jupyter Notebook or Lab.)を使って解析をし、Pythonを使ってグラフを書いて、そのグラフを使ってプレゼンをし、論文を書いています。Pythonがなければ私の研究は全く進まないと言ってもいいでしょう（大げさ）。

実験データの処理には大きく分けて２つの段階があります。解析とグラフ化です。この記事ではこの２つについて私が使っている小技（基礎）をいくつか紹介します。

## 実験データの解析
### データファイルを開く
様々な装置を使って実験をしていると、当然、様々な形式のデータが得られます。本質的には同じテーブルデータでも古い装置では拡張子が`.txt`

AWSのDynamoDBのテーブルをCSVファイルでエクスポートするPythonスクリプトを作成しました

# 目的
AWSのDynamoDBのテーブルをCSVファイルでエクスポートをするPythonスクリプトを作成しました。

※下記の記事を参考にさせていただきました。
[DynamoDBのテーブルをscanするPythonコード](https://qiita.com/shinsaka/items/fc5be926ef51d75b2cfa)

# 前提条件
– Python3がインストール済みであること
– [AWS CLI バージョン2](https://docs.aws.amazon.com/ja_jp/cli/latest/userguide/install-cliv2.html)がインストール済みであること
– [aws configure コマンド](https://docs.aws.amazon.com/ja_jp/cli/latest/userguide/cli-configure-files.html)で認証情報、リージョン、出力形式を設定済みであること
– AWSのDynamoDBにテーブルが存在すること

※今回は、DynamoDBに以下のテーブルが存在している前提です

AWS LambdaにてPython3でS3でファイルが追加されたイベントを取得し、実行する。

# 概要
調べたので備忘録

# 手順

1. Lambda上部のデザイナーから「トリガーを追加」をクリック

2. S3を選択


3. 対象バケットを選択、「全てのオブジェクト作成イベント」を選びます。

※必要あればプレフィックスなどは自由に設定してください。

【Pythonで業務効率化】依頼:このフォルダにあるExcelぜんぶPDFにしてね。

#はじめに

こんな事がありました。
先輩「フォルダにある130件のExcelファイル、〇〇ってシート名に書いてるシートだけPDFにしてほしいんだよね。よろしく！」
僕「分かりました。なるはやでやります！」
作業・・・・
僕「できました！」
先輩「おー、ありがとう。助かった！」
僕「ふう、疲れたあ。。。」
Python「え。私でExcelファイルをPDFにできるの知らないの？」
僕「まじか。また今後もこういう作業あるから、今度は効率化できるように調べてみるか！」


ということで、備忘録も兼ねて、フォルダにあるたくさんのExcelファイルをPDFにしておくコードの解説をしていきたいと思います。

#ExcelファイルをPDFにしよう
Excelを操作する為に、win32comというモジュールを使います。
このモジュールをインストールした事が無い場合

ColaboratoryでTensorFlowのチュートリアルをやるPart1

##初めに
[映画レビューによるテキスト分類](https://www.tensorflow.org/hub/tutorials/tf2_text_classification)をやります。映画レビューをポジティブまたはネガティブに分類します。これは、2クラス分類の例で、基本的で重要な機械学習問題らしいです。Colaboratoryの使い方は[【秒速で無料GPUを使う】深層学習実践Tips on Colaboratory](https://qiita.com/tomo_makes/items/b3c60b10f7b25a0a5935)などを見るといいです。

##1. セットアップ
① https://colab.research.google.com/notebooks/welcome.ipynb?hl=ja#scrollTo=GJBs_flRovLc にアクセスし、[ファイル]>>[ノートブックの新規作成]を選択します。

② ハードウェアアクセラレータをGPUにしてください。詳しいやり方は[こちら](https://qiita.com/rdongjian0079/items/

ABC176 A-Cやってみた

出よう出ようと思いつつも用事が入ったので……。
10分足らずでCまでは行けました。その先は謎です。

# [A – Takoyaki](https://atcoder.jp/contests/abc176/tasks/abc176_a)
割って切り上げてかける

“`python
from math import ceil
n,x,t=map(int,input().split())
print(ceil(n/x)*t)
“`
#[B – Multiple of 9](https://atcoder.jp/contests/abc176/tasks/abc176_b)
各桁足して9で割る

“`python
n=[int(i)for i in input()]
print(“Yes” i

pythonからDiscordのwebhookでメッセージ投稿する備忘録

最近RaspberryPi上でpython走らせてDiscordにメッセージ投稿する・・・
みたいなのをチョコチョコ作ってるのに毎度毎度躓く。
悩みたいのはそこじゃない。

[公式](https://discord.com/developers/docs/resources/webhook)ちゃんと読めよって話ですが、サンプル殆ど載っていないので備忘録。

# 参考
[DiscordにWebhookでいろいろ投稿する](https://qiita.com/Eai/items/1165d08dce9f183eac74)
[Webhook Resource](https://discord.com/developers/docs/resources/webhook)
[file](https://birdie0.github.io/discord-webhooks-guide/structure/file.html)
[Visualizer and validator for Discord embeds.](https://leovoel.github.io/embed-visual

JupyterLab に Gitを導入する手順

[おすすめ拡張機能8選](https://qiita.com/canonrock16/items/d166c93087a4aafd2db4)
の記事をみて、jupyterlab-gitを使おうとして、詰まったのでメモ
##環境
– JupterLab v 2.1.5
– anaconda

## [jupyterlab-git](https://github.com/jupyterlab/jupyterlab-git)をインストールする

READMEから以下のコマンドを打つ(conda環境なのでcondaでインストールしました。)

“`bash
$conda install jupyterlab-git #pipの方は、pip install –upgrade jupyterlab-git
#インストール完了
$jupyter lab build
#エラー
“`

JupyterLabの拡張機能画面から、`git`と打って`@jupyterlab/git`からインストールできますが、多分nodejsが入っていないと同じエラーが出ると予想されます。

##エラー発生
詳しいエ

AtCoder Beginner Contest 176 A問題「Takoyaki」解説(Python3,C++,Java)

Ruteです！皆さんAtCoder Beginner Contest 176 お疲れ様でしたー！！
今回は、A問題・B問題・C問題早解きという、ABC164以来のABC早解きコンテストとなりました。
おそらく、「ABCを3完して撤退」という方も多かったと思います。

今回は、A問題・B問題・C問題の解説を3言語で解説していきたいと思います！！

##各問題・解説へのリンク

|A|B|C|
|—|—|—|
|この記事です！！|準備中|準備中|

それでは、A問題の解説から始めます！！

#問題概要

たこ焼き機は、一度に最大で$X$個のたこ焼きを作ることができる。作るのにかかる時間は個数によらず$T$分である。

$N$個のたこ焼きを作るためには何分必要かを出力せよ。

##制約
・$1 \leq N,X,T \leq 1000$
・入力は全て整数

#解説
##解法1(天井関数の利用)
$N$個のたこ焼きを作るために必要なたこ焼き機の使用回数は$\lceil{\frac{N}{X}}\rce

PythonでWindowsのディレクトリで使用できない文字列を変換して作成する

## 概要
Windowsでは下記の半角文字列が禁則文字であり、ディレクトリ作成時に使用できない。
`￥　／　：　＊　？　”　＜　＞　｜`
半角文字列の場合は、全角文字に変換してディレクトリ作成を行うプログラムを下記に記載

## 前提条件
– Windows 10
– Python3.7

### サンプルPG
– プログラム概要
– 正規表現を用いて禁則文字が存在する場合は全角変換する

“`create_dir.py
import os
import re

trans_tone = {
u’\:’: u’：’,
u’\/’: u’／’,
u’\¥’: u”,
u’\?’: u’？’,
u’\”‘: u’”’,
u’\<': u'＜', u'\>‘: u’＞’,
u’\*’: u’＊’,
u’\|’: u’｜’
}

def main():

dir_name = “:/\?<>*|”
dir_name = multiple_replace(dir_name, trans_ton

MacでXcodeを使ってpython3をインストールする

## はじめに

macOSにはpython2.7が標準でバンドルされていますが、python3系は入っていません。python2系は既にサポートが終了していますので、python3系に切り替えている方が多いのではないかと思います。私もディープラーニングのコードを動かす時（勉強用に人様が作ったコードを動かしてみるのがメインですが・・）にpythonを使いますが、最近はいつもpython3を使っています。

macOSにpython3がついてこないので、これまでは；

– anaconda → 最近は使っていない
– pyenv → 最近はこっち

を使ってpython3をインストールしていました。今回iMacを2020（最後のIntel版）に更新して環境構築を行なっていた際に、Xcode Command Line Toolsをインストールするとpython3が同時にインストールされることに気がつきました。この情報、ネットを調べてもあまり見かけませんが、Xcodeをインストールする方はついでにpython3も手に入れることができるため、案外お手軽な方法かもしれないと思いこの記事でご紹介し

Pythonで特定URLの画像ファイルを取得する

## 概要
機械学習等を行う場合、多数の画像ファイルを取得する必要がある。
その場合、WEBサイトから画像ファイルを取得する必要がある為、
URLの画像ファイルをダウンロードする際に使用するサンプルPGを下記に記載。

## 前提条件
– requests
– python3.7

### サンプルPG
“`get_img.py
import requests

# ファイル出力先
OUTPUT_PATH = “D:\\img”

def main():
url = “https://example.com/sample/sample.jpg”
get_img(url)

def get_img(url):

# URLにGET通信でアクセス
res = requests.get(url)

# 200以外のステータスの場合は処理終了
if res.status_code != 200:
return

# コンテンツタイプを確認
content_type = res.headers[“content-

Pythonでハノンっぽい楽譜を作ったお話

#はじめに
みなさん、ハノンピアノ教本をご存知ですか？
ピアノ経験者の方は嫌な思い出がある方も多いかもしれません。
ハノンピアノ教本は、ピアノを弾く上でとても基礎的なことが学べる教則本です。
百聞は一見に如かずなので、ぜひ[演奏されている動画](https://www.youtube.com/watch?v=051Zm3SH2dI)や[楽譜](https://ameblo.jp/manana888/entry-11753162091.html)を見てみてください。
今回は、ハノンピアノ教本のなかでも、1〜20番のような曲を自動でつくることを目指しました。

#使った言語やツール
使った言語は、**Python**です。
また、MITで開発されたPythonの音楽情報処理ライブラリである**music21**を使用しました。
実は、music21自体が楽譜を作成するわけではなく、MuseScoreやLilypondで楽譜は作成されます。
（ただし、実際に自分がMuseScoreやLilypondを触るわけではないので、その辺の知識はなくて大丈夫です。）
music21については、[このブ