Python関連のことを調べてみた2021年06月24日

国土地理院の標高タイルを2クリックでダウンロード→可視化するQGISプラグインを公開！

#　はじめに

みなさんこんにちわ！

つい先日、[こんな記事](https://qiita.com/nokonoko_1203/items/b99aa733cb215305f8aa)を書きました。

国土地理院のサイト（基盤地図情報）からダウンロードしたDEMを利用してサクッと可視化するプラグインを[弊社(MIERUNE)](https://mierune.co.jp/)で作成したので、そちらを紹介した記事になります。

ところで！！！！！！

こちらの記事、大部分が基盤地図情報からデータをダウンロードする方法に費やされています。

基盤地図情報はよく整備されたサイトなので必要ないかなとも思いつつ、色々書かせていただきました。

が、そもそもの話、「標高を見たいだけなのに会員登録して地図見て選択してダウンロードしたファイルを加工したりしなきゃならんのか…！？」と思った方もいるんじゃないかと思います。

「もっと簡単な方法はねぇのかよ？」と思いますよね？？？？？

そうです！！！！！！！！！

あるんです！！！！！！！！！！！！！！

いいえ！作りました！！！！

それがこちら！

!

C言語版 YOLOv3 (libdarknet.so) を Python + OpenCV で使う

# TL;DR
– 公式YOLOv3をビルドしてできるライブラリの`libdarknet.so`をPythonから使います。
– numpy 配列を介して API を呼び出すので OpenCV と共存・協調できます。
– 大げさなフレームワークを使わないので Raspberry Pi でも軽々実装できます。

# 背景

Raspberry Pi でカメラを使った物体認識がしたくて、とりあえず有名どころということで YOLOv3 を使おうと思ったのですが、完全に C 言語の世界です。正直 C でカメラとか画像処理とか書く気力がなく、**手っ取り早く Python + OpenCV で……** と思ったのですが、API が提供されていませんでした。いちおう[公式リポジトリ](https://github.com/pjreddie/darknet)に `Python` なるフォルダがあって、そこに Python から `libdarknet.so` を使うサンプルがあったものの、（見ればわかるのですが）これはなんというか、本当に**「呼び出してみただけ」**のサンプルコードでいわゆる

pyenv備忘録

pyenv備忘録

pyenv local hogeがそのディレクトリ下でしか動かないことを確認する

“`
hoge@LAPTOP-hoge:~/abc$ pyenv versions
system
2.7.15
3.6.9
* 3.8.10 (set by /home/hoge/.pyenv/version)
“`

globalで3.8.10が使われる設定になっている。
今いるディレクトリ下で使うpythonを3.6.9にする

“`
hoge@LAPTOP-hoge:~/abc$ pyenv local 3.6.9

hoge@LAPTOP-hoge:~/abc$ pyenv versions
system
2.7.15
* 3.6.9 (set by /home/hoge/abc/.python-version)
3.8.10
“`
3.6.9が使われる設定になっているが、一個上のディレクトリではどうだろうか？

“`
hoge@LAPTOP-hoge:~/abc$ cd ../
hoge@LAPTOP-hoge:~$ pyenv versi

AutoML（AutoGluon）を使ってみた

* 製造業出身のデータサイエンティストがお送りする記事
* 今回はAutoML ライブラリー（AutoGluon）を使ってみました。

##はじめに
過去に他のAutoML ライブラリーやツールについては、別の記事に纏めておりますので下記をご参照ください。

– [PyCaret](https://qiita.com/DS27/items/bc56163b2cc48403deb0)
– [TPOT](https://qiita.com/DS27/items/0311b56972da4bef94d5)
– [VARISTA](https://qiita.com/DS27/items/32349b03e99b3f580569)

また、今回はローカル環境では上手く環境構築ができなかった（エラーが直す時間が無かった）ため、Google Colaboratory で実装しております。
ここも単純に`pip install` ではエラーが発生しましたので、2021/6/24時点では下記方法で実行できると思いますが、将来的に上手くいかない可能性はございます。

##AutoGluon　を使ってみた

Spectral Python Tutorial 導入からデータの読み込みまで

#[Spectral Python](http://www.spectralpython.net/)
[Spectral Python(SPy)](https://github.com/spectralpython/spectral)とは純度100%のpythonのモジュールで、ハイパースペクトル(HS)データの処理ができる。HSデータの読み込み、表示、計算そして分類まで一括して行える。[MITライセンス](https://mit-license.org/)のため、自由に使うことができる。本記事ではこのライブラリのチュートリアルを和訳したものを掲載する。なお本記事の翻訳に関しては許諾を得ている。

##Introduction
このユーザーガイドでは、下記の論文のデータを参照しチュートリアルを進める。またチュートリアルでは利便性のため`from spectral import *`としているが、モジュール内ネームスペースのコンテンツをすべてインポートすることは非推奨である。データは[ここ](https://github.com/spectralpython/sample-data)から

Athenaで基礎からしっかり入門 分析SQL（Python・Pandasコード付き） #1

今まで複雑なデータ操作・分析などはPythonでやっており、SQLは普通のアプリ開発程度のライトなものしか触って来なかったのですが、やはり分析用の長いSQLなども書けた方がやりとり等で便利・・・という印象なので、復習も兼ねて記事にしておきます。

また、SQLに加えて検算も兼ねてPythonやPandasなどを使ったコードもSQLと併記していきます（Pythonで書くとどういった記述が該当するのかの比較用として使います）。

※長くなるのでいくつかの記事に分割します。本記事は1記事目となります。

# 特記実行

– お仕事がAWSなので合わせてDBはAWSのAthena（Presto）を利用していきます。BigQueryやRedshift、MySQLやPostgreSQLなどではある程度方言や使える関数の差などがあると思いますがご了承ください。
– 同様にお仕事がゲーム業界なので、用意するデータセットはモバイルゲームなどを意識した形（データ・テーブル）で進めます。
– Athenaなどでの分析利用が主なため、この記事ではテーブル作成・削除などにはほぼ触れずに読み込みや集計などをメイン

python3.7でローカルからLambda関数をデプロイする手順

# What’s this?
pipenvを利用してコマンド1発でローカル環境のソースコードをLmabda関数にデプロイする際の手順をまとめた記事です。

# IAMからユーザー作成
最初にローカルからLambdaへのデプロイを実施するためのIAMユーザーを作成します。
IAM > ユーザー > ユーザーを追加からユーザーを作成します。

今回はユーザー名「dev_user」で作成します。
アクセスの種類はプログラムによるアクセスにチェックします。


アクセス権限は後から付与できるので一旦スキップしてユーザーを作成します。
ユーザー作成ができるとシークレットアクセスキーが発行されるのでダウンロードしてておきます。

作成されたユーザーに対してLambdaのデプロイに必要なアクセス権限を追加します。
アクセス権限 > インラインポリシーの追加

【Python】似ている文字列の類似度を調べる

#実行環境
Python 3.8.8
macOS Catalina v10.15.4

# インストール

“`python
% conda install python-Levenshtein
“`

# 目的

**お茶**、**お〜いお茶**、**茶**のように似ている単語を見つける。

今回は`ラーメン、うどん、中華麺、麺、カレー、ドラえもん`の中から

# 前処理

まず日本語の場合漢字から全てひらがなにしなければならない。

https://qiita.com/twrcd1227/items/df4946b8b7caae58db71

“`python
>>> from pykakasi import kakasi
>>> word_list = [“ラーメン”, “うどん”, “中華麺”, “麺”, “カレー”, “ドラえもん”]
>>> kks = kakasi()
>>> hira_word_list = []
>>> for word in word_list:
… result = kks.convert(word)
… new_wo

【Python】漢字を平仮名やローマ字に変換する

#概要

Pythonで漢字をひらがなに変換する方法を調べてみた。

# 実行環境

Python 3.8.8
macOS Catalina v10.15.4

#インストール

**pykakasi**を使うと漢字をひらがなやローマ字にすることができる。
**anaconda**でインストールする場合

“`terminal
% conda search pykakasi
“`

**pip**の時は

“`terminal
% pip install pykakasi
“`

# 実際に変換する

“`python
>>> from pykakasi import kakasi
>>> # インスタンスの作成
>>> kks = kakasi()
>>> word = “僕は未来から来た猫型ロボット”
>>> result = kks.convert(word)
>>> result
[{‘orig’: ‘僕は’, ‘hira’: ‘ぼくは’, ‘kana’: ‘ボクハ’, ‘hepburn’: ‘bokuha’, ‘kunrei’: ‘bokuha’, ‘pass

[Python]たった三行でProcessingで日本語を表示させる

Processeing上で日本語を表示させたい！でも検索してもJava用の記事しか出てこない！
そんなこと、よくありますよね。
そんなあなたに朗報です。それ、たった三行で実装できます。しかも面倒なファイルを作る作業や待ち時間など一切ナシ！
まずは小手調べにエディタで日本語を打てるようにしてみましょう。
右上にある「ファイル」から「設定」を開きます。
ここで「言語」を「日本語」に。「エディタとコンソールのフォント」を（日本語に対応していれば何でもいいのですが）「DialogInput」にしましょう。
そし

WindowsでPythonでMeCab（mecab-ipadic-NEologd）

## 前提
Windows10
Python3.9

## 1. MeCabのインストール
https://taku910.github.io/mecab/#download

Binary package for MS-WindowsをDL・インストール
文字コードはUTF-8にしておく

## 2. mecab-ipadic-NEologdをインストール
最新の辞書とかもあって便利なのでいれる

https://github.com/neologd/mecab-ipadic-neologd/blob/master/README.ja.md

→WindowsはWSLに入れろって感じだけど普通にインストールできる

### NEologd辞書のダウンロードとコンパイル

“`
git clone –depth 1 https://github.com/neologd/mecab-ipadic-neologd.git
cd mecab-ipadic-neologd\seed
7z X *.xz
“`

### 辞書ファイルのコンパイル

“`
mecab-dict-index

Python Challenge level 2

続けて[Python Challenge](http://www.pythonchallenge.com/) を解いていきます。

level 2: http://www.pythonchallenge.com/pc/def/ocr.html

# Level 2

本の画像にキャプションがついています。
>recognize the characters. maybe they are in the book, but MAYBE they are in the page source.

これがヒントでしょう。文字を認識せよ。多分その本の中にある、もしくは「多分」このページのソースコードの中にあるだろう。ぐらいの意味ですので、ヒントに従いソースコードを見てみましょう。

“`html:ocr.html

時変データを２値化して変化の時間間隔をもとめる

“`python
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

#データ読み込み
df = pd.read_excel(‘sampdata.xlsx’)

#変数格納　1行目（時間）と２行目（電圧）
time = df.iloc[:,0]
volt = df.iloc[:,1]

#1,0のデータに変換
volt[volt>1] = 1
volt[volt<1] = 0 #電圧の微分を求める volt_diff = np.diff(volt.values) #電圧の微分と時間の数を合わせる time2 = time[1:] #電圧の微分が１以上の時間間隔と-1以下の時間間隔を求める time_diff_p = np.diff(time2.values[volt_diff>0])
time_diff_m = np.diff(time2.values[volt_diff<0]) #グラフ描画 fig = plt.figure(figsize=(6, 4),

PythonでSymbolブロックチェーンとwebsocket通信を行う

Pythonでリアルタイムに検知するためにwebsocket通信を行ってみます。

#### ライブラリのインストール
まず初めに必要なライブラリをインストールします。

websocket-client 1.1.0

https://pypi.org/project/websocket-client/

“`
pip install websocket-client
“`

#### 実装
websocketの実装サンプルが記載されているので真似ながら実装していきます。

https://pypi.org/project/websocket-client/

“` python3
import websocket

# メッセージを受信した場合の処理.
def on_message(ws, message):
# 取得したメッセージの出力
json_data = json.loads(message)
print(json.dumps(json_data, indent=2))

# メッセージにuidが含まれる場合は取得する.

pythonでAmazon Rekognition カスタムラベルを利用して画像認識をやってみた。

# はじめに
本記事が自身初投稿になります。拙い文章ですが、ぜひご覧頂けますと幸いです。

# きっかけ
業務で開発中のwebアプリにて、ユーザーが身分証明書の画像をアップロードし、管理者が画像を閲覧できる機能を追加しました。(画像はweb画面に組み込まれて表示されます。)
web画面で定められた横長の画像領域に対して縦画面で撮影された画像が見づらく表示されるということがあったため、縦画面または横画面どちらで撮影された画像でも**身分証部分を識別してトリミングする機能**があればなあと思いました。

また、先日AWS SAA認定試験に合格し、AWSで何かできないかなと考えたときに、特に上司からの指示はないのですが上記の機能が実現できないか挑戦してみました。

# Amazon Rekognition とは
AWSが提供する画像分析、動画分析サービスになります。特に機械学習の知識がなくとも、APIを使用することで画像や動画の物体、人物、テキスト、シーン、活動を特定できます。

# カスタムラベル とは
> Amazon Rekognition カスタムラベルを使用して、ビジネスニーズに合

テリア犬6種を区別するAIアプリを作成してみた

# はじめに
テリアはイギリスなどが原産で３２種類が知られています。小型犬から大型犬までサイズも豊富で、短毛・長毛と被毛の長さも様々です。
この中から容姿の似たオーストラリアン・シルキー・テリア、ノーリッチ・テリア、アイリッシュ・テリア、チベタン・テリア、スコティッシュ・テリア、ヨークシャー・テリアを見分けるAIアプリを作ってみました。

# 実行環境
・Python 3.8.5
・Visual Studio Code 1.52.1
・Google colaboratory

# 画像データセットの作成
[スタンフォード 犬のデータセット](http://vision.stanford.edu/aditya86/ImageNetDogs/)からテリア犬6種の画像をダウンロードしました。
データは全部で1065画像あり、250×250のサイズに変更し、以下のコードでdataset.pklというファイルを作成しローカル環境に保存しました。

“`ruby:dataset.py
import os
import cv2
import numpy as np
import pickle

GameGan-codeが動いたので、動かし方のメモ

#概要

https://github.com/nv-tlabs/GameGAN_code

　GameGanとはゲームの画像と操作履歴をGeneratorに学ばせて、そのゲームを再現できるというものです。
　このコードを動作させる方法を説明します。
　動作させる方法のメモなので、処理内容については詳しくは説明していないので、内容については[論文](https://arxiv.org/abs/2005.12126)を読むことを推奨します。

#動作環境
　以下の環境で動作させましたが、設定で小さくしたモデルをギリギリ動作可能というレベルでした。
　おそらく実用レベルのものを作ろうと思うと、[ビデオメモリお化け](https://www.nvidia.com/en-us/design-visualization/rtx-a6000/)や[GPU界のポルシェ](https://www.nvidia.com/ja-jp/data-center/a100/)とかが必要になるだろうなと思っています。（うまく設定すれば必要ないかもしれません。）
　また、最初はWindowsで動作させようとしたの

KaggleチュートリアルのTitanicに取り組んでみた

# はじめに
Kaggleの初心者向けチュートリアルであるTitanic(タイタニック)に取り組んでみました。
最初は精度80%超えることを目標としていましたが、チュートリアルなので可視化とか色々触ってみることを目的に途中で変えたので最終的な精度は77%です。

# 参考にした記事
[Kaggleに登録したら次にやること ～ これだけやれば十分闘える！Titanicの先へ行く入門 10 Kernel ～](https://qiita.com/upura/items/3c10ff6fed4e7c3d70f0 “Kaggleに登録したら次にやること ～ これだけやれば十分闘える！Titanicの先へ行く入門 10 Kernel ～”)
[KaggleチュートリアルTitanicで上位2%以内に入るノウハウ](https://qiita.com/jun40vn/items/d8a1f71fae680589e05c “KaggleチュートリアルTitanicで上位2%以内に入るノウハウ”)
[タイタニック号の乗客の生存予測〜80%以上の予測精度を超える方法（モデル構築＆推論編）](https:

Kubeflow入門

## はじめに
Kubeflowとは何なのか。
どんな知識が必要でどんなメリットがあるの？
エコシステムなんかはどうなっているの？

現状これらの問いの答えとなるような記事を見つけることができなかったため、本記事を執筆しました。
本記事ではKubeflowとは何なのか。そしてどのようなツールで構成されているのか図を交えながらできる限りわかりやすくまとめました。（本記事で使用している図に関してはご連絡いただければ元データをお送りできます。）
MLOps、Kubeflowについての日本語の学習リソースがほとんどないですが、MLOpsの概念や技術が日本で広まる一助になればいいなと思っています。

## Kubeflowとは


近年の機械学習の急速な発展に伴って、機械学習を本番運用する機会が増えてくる中、てデータサイエ

PythonでHTMLをPDFに変換する際に画像を埋め込む

## はじめに

昨今の”DX”ブームにより、自動化検討が進んでいます。レポートの自動化は誰もが思いつくDXの初手ともいうべきものです。その際に、Pythonでレポートを作成しPDFで書き換え不能にして保管する場面があるかもです。
私はさらに、そのPDFに画像を埋め込むという場面に遭遇しました。AtomエディタやVSCodeを使っている人であればMarkdownをPDFに変換するのが簡単だと思うでしょうか。今回PythonでHTMLをPDFに変換する際に、ローカルに保存した画像の扱いに手こずったため備忘録として以下の記事を残します。
### 環境

とりあえずWindows10の環境で実行します。pdfkitというライブラリが動くようであれば他のOSでもかまいません。

### 画像の準備
今回は以下のガイ・フォークスマスクをPDFに埋め込みます。権威に対する叛乱の象徴です。`’Guy-Fawkes.jpg’`という名前で保存します。