Python関連のことを調べてみた2019年12月09日

spaCy/GiNZAを使って日本語文書のカテゴリ分類を学習する（失敗）

この記事は[ユニークビジョン株式会社 Advent Calendar 2019](https://qiita.com/advent-calendar/2019/uniquevision)の9日目の記事です。

# はじめに

本記事は[spaCyのCLIで文書のカテゴリ分類を学習する](https://qiita.com/kyamamoto9120/items/84d62c3b33fb77c03fbe)の続編です。
前回は英語の文書を扱いましたが、本記事では日本語文書を対象に、spaCyのCLIを用いてカテゴリ分類の学習を行います。

# 前提条件
前回同様、実行環境にはgoogle ColabのGPUランタイムを使用しており、GPUはTesla P100です。
また、ライブラリのバージョンは

* ginza 2.2.1
* spacy 2.2.1

です。
GiNZAは以下の手順でインストールしておきます。

“`console
$ pip install “https://github.com/megagonlabs/ginza/releases/download/latest

1 Clickでエグゼクティブになるボタン

迫る年の瀬、寒いのは冬のせいか、懐のせいか、・・・
なにかと灰色の心持ちになるこの季節、ほのかなマッチにも似たアプリを作成しました。1 Clickで上場企業の役員になれるアプリです！その名も「エグゼクティブ・ボタン」。↓の画像をクリックすると起動します。

**エグゼクティブボタンのここがすごい!**

ボタンを押すだけで上場企業の役員報酬が手に入る！！

**エグゼクティブボタンのここがクソ!**

ほんとには手に入らない！！

実装はこちらです。

https://github.com/icoxfog417/exe

日常生活にも役立つ!?コスパ最強の実験計画法をPythonで半自動化

# 概要
– 実験回数を大幅に効率化する「実験計画法」について（ざっくり）説明します。
– 実験計画法の手続きがやや複雑なため、手続き部分をPythonで自動化します（今回の目的）。

# 実験計画法とはなにか（どう役に立つか）

>実験計画法（じっけんけいかくほう、英: Experimental design、Design of experiments）は、効率のよい実験方法を設計（デザイン）し、結果を適切に解析することを目的とする統計学の応用分野である。
> [Wikipediaより](https://ja.wikipedia.org/wiki/%E5%AE%9F%E9%A8

【画像で説明】KaggleのNoteBookでpickleをつかい回す

# やること
1. csvファイルのデータセットをpickle化
2. pickleファイルを別のnotebookで読み込む

# pickleってなんなのよ？
pythonオブジェクトをバイナリデータで保存するやつ
https://docs.python.org/ja/3/library/pickle.html

# なにがうれしくて？
読み込みが早い
バイナリデータなのでパーズ処理がいらんから早いんですって
学習済みモデルとかもpickle化してつかい回せる

こちらの検証記事がすばらしいです
[Python: pandas の永続化フォーマットについて調べた](https://blog.amedama.jp/entry/2018/07/11/081050)

# タイタニックのデータでやってみる
ひとまずtrain.csvをpickleにする
コードはこれだけ

“`.py
# pickleは標準ライブラリなのでinstall不要
import pickle

import pandas as pd

train = pd.read_csv(‘../input/tita

nfcpyとPaSoRiでNFCタグを読む

# はじめに

ソニーのPaSoRi（RC-S370，[RC-S380](https://www.sony.co.jp/Products/felica/consumer/products/RC-S380.html)）でNFCタグを読みたいと思って[nfcpy](https://github.com/nfcpy/nfcpy)を使ってみたところ，特にWindows 10環境でいろいろハマったのでまとめておきます。

詳細は[https://scrapbox.io/saitotetsuya/nfcpy](https://scrapbox.io/saitotetsuya/nfcpy)にまとめていて，適宜更新しています。

# 環境に依存しない話

* nfcpyは[v1.0.0](https://github.com/nfcpy/nfcpy/releases/tag/v1.0.0)以降でPython3に対応している（2019年12月9日現在で最新は[v1.0.3](https://github.com/nfcpy/nfcpy/releases/tag/v1.0.3)）。
* デバイス番号はPa

pythonで画像を集めてみただけ

# はじめに

こちらの記事は、 [SLP KBIT Advent Calendar 2019](https://adventar.org/calendars/4214) の9日目の記事です。

pythonを使って画像スクレイピングを行いました。
サイトのURLを貼ったら、そのサイトの画像を全部表示してくれるものを作りました。

### 使用環境
-python 3.7.4

# 全体のコード

**フォルダの構成**

├── cgi-bin
│ └── image_scraping.py
└── style.css
└── index.html

“`python:image_scraping.py
# スクレイピング用
import requests
from bs4 import BeautifulSoup
# フォームデータ受け取り用
import cgi

# —検索フォームのボタンを押したときに出力するhtml—
html_body1 = “””