Python環境の構築

# はじめに
Macbook Air（macOS:High Sierra 10.13.6）にPythonの実行環境を構築しました。

### 手順1 Command Line Toolsをインストール
“`
$ gcc
“`
Command Line Toolsがインストールされていない場合は、インストールが開始されます。

### 手順2 Homebrewをインストール
“`
$ /bin/bash -c “$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install.sh)”
“`
“`homebrew-core is a shallow clane.“`というErrorが出たので、
“`$ git -C/usr/local/Homebrew/Library/Taps/homebrew/homebrew-core fetch –unshallow“`
を実行しました。

### 手順3 Pythonをインストール
“`
$ brew install python3
`

jupyter notebookでデータフレームの全部を表示する

n行目まで表示したい時
“`pd.set_option(‘display.max_rows’, n)“`
n列目まで表示したい時
“`pd.set_option(‘display.max_columns’, n)“`

Pythonで特定のソフトをアクティブにする方法

Pythonで自動入力等をしたいときに、目的のソフトをアクティブにする方法の覚書き
#その１　自動クリックでアクティブにする
[【Python】Windows10：アプリケーションを最前面に表示・アクティブ化させる方法](https://office54.net/python/app/windows-foreground-active)が分かりやすい。

“`active.py
import win32gui
import win32con
import pyautogui
import ctypes

def foreground():
hwnd = ctypes.windll.user32.FindWindowW(“目的のWindowタイトル”, 0)
win32gui.SetWindowPos(hwnd,win32con.HWND_TOPMOST,0,0,0,0,win32con.SWP_NOMOVE | win32con.SWP_NOSIZE)
#2つ目の要素の内容
#HWND_TOPMOST:ウィンドウを常に最前面にする。
#HWND

Open CV エラー error: (-215:Assertion failed) !_src.empty() in function ‘cv::cvtColor’ -> Numpy.fromfileを使用する

以下の様に<ダウンロード1.JPG>を表示させるプログラムを実行した。

“`python
import cv2 as cv

image_picture = ‘Resources/ダウンロード1.JPG’
img = cv.imread(image_picture)
cv.imshow(‘IMAGE’,img)
cv.waitKey(0)
“`

結果、エラーを検知

“`
error: (-215:Assertion failed) !_src.empty() in function ‘cv::cvtColor’
“`

調査したところ、今回の場合はファイル名にカタカナが使用されていることが原因という仮説が立った。そのため、こちらの記事を参考にしてNumpy.fromfileを使用して修正を試みた。
http://solasyndrome.blog.fc2.com/blog-entry-16.html

“`python
import cv2 as cv
import numpy as np

image_picture = np.fromfile(“Resources/

python の zip 関数の動き

# zipが何をしているか？

zipがどのように動くか気になったのでpythonチュートリアルで調べた。

[pythonチュートリアル 5. データ構造より抜粋](https://docs.python.org/ja/3/tutorial/datastructures.html#nested-list-comprehensions)

“`python
matrix = [
[1, 2, 3, 4],
[5, 6, 7, 8],
[9, 10, 11, 12],
]
print(list(zip(*matrix)))
“`
>[(1, 5, 9), (2, 6, 10), (3, 7, 11), (4, 8, 12)]

ネストしたfor

“`
vec = [[1, 2, 3], [4, 5, 6], [7, 8, 9]]
list = [num for elem in vec for num in elem]
list = []
for elem in vec:
print(elem)
for num in elem:

python 入門: webスクレイピング (すべてのイラスト屋を集まり)


データサイエンティストになるために、解析だけでなくて、データを収集しなければなりません。いろいろな手法があり、一般的にwebスクレイピングの技術を使用します。Pythonでは、webスクレイピングをというと、BeautifulSoupのモジュールは一般的です。　BeautifulSoupは、ウエブサイトのHTMLを簡単に分解して、希望の情報を取り抜けます。この記事では、BautifulSoupを使用し、イラスト屋の画像を収集しています。すべてのコードは[GoogleColabのノートブック](https://github.com/JarvisSan22/JC_learn_python_Notebooks/blob/main/TJC_%E3%82%A4%E3%83%A9%E3%82%B9%E3%83%88%E5

Tensor Flow エラー InvalidArgumentError: required broadcastable shapes　解決 2021/11/17

本日のエラー「 InvalidArgumentError: required broadcastable shapes」

本日に UNETのモデルを実行するとき、モデルのクラスを1から11まで増して、このエラーが引き起こされてしまう。原因は、Tensroflow
このエラーの原因は、私のデータを読み込む関数で、to_categoricalがなくて、tf_parseの入力サイズも違いました。

下記はエラーを引き起こされたコード

“`python
def read_mask(path):
path = path.decode()
x = cv2.imread(path,cv2.IMREAD_GRAYSCALE)
x = np.expand_dims(x, axis=-1)
x =

Python_input関数

# input:ユーザーが入力した値を文字列で取得する

“`
age = input(“何歳ですか”)
“`
> 何歳ですか 17

“`
print(age)
print(type(age))
“`
> 17
> class ‘str’

Python_is演算子

# is演算子
同じオブジェクトかどうか判定する。
Noneなどの判別によく使用する.

“`
a = 1
b = 1
c = 0
d = a
print(id(a), id(b), id(c), id(d))
print(a is b)
print(a is c)
print(a is not c)
“`

>94279174345344 94279174345344 94279174345312 94279174345344
True
False
True

GPUを活用した機械学習ツールNVIDIA RAPIDSをArch Linux + CUDA11.5 でビルドした(Ver21.12版) (1) CUDF, RMM

#前置き
**NVIDIA の Rapidsai の最新ブランチが 21.12 に上がったので、現時点では正式リリースじゃないけど。一旦ビルドしてみる。**（ビルド出来たが、全部じゃなくてもテストがまずまず通ればOKとする。また正式リリースされたらちゃんと改訂する。

GPUを活用した機械学習ツールNVIDIA RAPIDSのビルド方法。今回は **21.12**）での構築方法を紹介。Arch Linux の環境では、CUDA11.5 + GCC11 (not GCC10)がデフォルト開発環境になってしまってるけど、大抵のコンポーネントまではGCC11でビルドできる。Arch Linux では、CUDA11.5のポストプロセッサとしてのGCCに11（最新バージョン）を設定してるが、RapidsAIでは CUDA11.5 に、GCC10（最新一つ前）を設定しないとビルドできなかった。

# やったこと＝RAPIDS のビルド
データ処理、機械学習のフレームワーク[RAPIDS](https://rapids.ai/)を [Arch Linux](https://www.archlin

熟れたアボカドを判別するAIアプリを作ってみた

#はじめに
プログラミング初心者がAidemyのWebアプリ開発コースを受講し、初めて一人で自走してAIアプリ作成をしました。
正直、構想段階では初心者の自分には無理かも・・・と思っていましたが、なんとか完成しました。
今回題材を決めたきっかけは、アボカドを食べようとしたときにいざ切ってみるとまだ硬くて食べれずプチストレスだったり、（よくやる:joy:）
どれを買おうか迷っている時に、どのくらいの色のものが良いのか分からず握って柔らかさを確認するのも、コロナ禍なので特にどうしたものだろうかと思ったからです。
**でも一番の理由は、自分が作りたいものを作りたかった**ので決めました。単純にアボカドが大好きです:yum:

#1. 実行環境
Python 3.8.8
MacBook Pro
Google Colaboratory
Visual Studio Code (1.60.2)

#2. 画像データ
画像を探しているとちょうど良い画像データがkaggleにありました。

Fruits 360

今回はこのフルーツのデータセットから

「適格請求書発行事業者公表システムWeb-API機能」利用の覚書

#はじめに
令和5年10月1日からいわゆるインボイス制度と呼ばれたりもする適格請求書発行方式が始まります。内容はともかく、今まで通りに商売を続けるためには届け出をして「登録番号」をとらなければならないようです。この登録番号は今まであった13桁の「法人番号」の頭にTを付けた14桁の番号で、法人番号同様に公表されるのです。

https://www.invoice-kohyo.nta.go.jp/web-api/index.html

#環境準備
1. 上記のサイトから申請できるアプリケーションIDを準備しますが、法人番号APIで使ったアプリケーションIDがそのまま流用できるそうなので、そのまま利用しました。

https://qiita.com/talomina/items/3af845b3eec511ab55fe

1. Python環境を準備します。今回もAmazon lambdaを利用しました。

#実装
作成したコードです。登録番号を元にAPIから取得した会社名や住所を表示します。法人番号との主な違いは下記のようなところです。
* 法人番号は全て頭にTを付けて登録番号に変更する

beautiful soup4のインスタンス生成時に、lxmlを指定するとスクレイピング時にデータが欠落した問題

# 現象
30件データを取得したいにも関わらず、14件しか取得できません。

# 解決策
パース前にパース対象を下記のコードのように、shift-jisからutf-8に変換しておく必要があります。

“`
soup = BeautifulSoup(c.decode(“CP932”), “lxml”)
“`

ゼロから作るDeep Learning ３周目くらい(4.5.1 ２層ニューラルネットワークのクラスまで)

[言語処理100本ノック 2020年版](https://nlp100.github.io/ja/)が行き詰まってきた、
というか「第８章：ニューラルネット」に入ったので
基礎をおさらいするために「[ゼロから作るDeep Learning](https://www.amazon.co.jp/dp/4873117585/)」を３周目くらいの再再読。

学習の成果は[Github](https://github.com/marzg510/study-dl-from-scratch.git)に公開しています。

４章は「数値微分」が面白いです。こんなやり方があったのか、って感じです。
５章の「逆誤差伝播法」も面白いです。いつも大体このへんで分かった気になって、やめます。

気がつけば４巻まで出ていたのですね。

２巻が自然言語処理編なのでそこまで頑張って追いつきます。

Python_変数を文字列に展開

# format
“`
hello = “Hello”
world = “World”
print(“{} {}”.format(hello, world))

“`
> Hello World

# fstring
* formatより少し早い

“`
hello = “Hello”
world = “World”
print(f”{hello} {world}”)
print(f”{type(hello)}”)
“`
> Hello World

[Anaconda Tips] conda env list や conda activate をもう打ちたくない！!

# はじめに
– 対象者：
– WindowsでAnacondaを使っている人
– 「conda activate」とか「conda env list」などを打つのが地味にめんどくさいと思っている人

# Anaconda標準エイリアス
WindowsでAnacondaをインストールして`conda init`を実行すると、PowerShellでは以下のようなエイリアスが使えるようになっています。
`conda env list`や`conda activate` `conda deactivate`といった頻出コマンドが登録されています。

| エイリアス | 内容 | ちゃんとコマンドを使う場合 |
|:———:|:———:|:———:|
|conda|いつものやつ（詳細は省略します）|`Invoke-Conda`|
|**etenv**|環境アクティベート
(= `conda activate`)|`Enter-CondaEnvironment`|
|**exenv**|環境非アクティベート
(= `c

TC66C

#TC66Cで電力計測

https://github.com/kolinger/rd-usb

pandasで使えるテクニックをひたすらまとめる

## 概要
実務でどうやるか詰まった時の解決リンクをメモがてらひたすらまとめます。

## gruopby関連

– 「日付をkeyにして週次・月次・年次でgroupbyをしたい！」って時：[【Python】pandas.Grouperで時系列データを楽々groupby！](https://hesma2.hatenablog.com/entry/2021/01/22/003526#%E6%9C%88%E6%AC%A1%E3%81%AE%E9%9B%86%E8%A8%88monthly)

順次更新予定。

【Python】商圏分析のためにYahooローカルサーチAPIから周辺店舗情報を取得してみた

#初めに
商圏分析ために、周辺店舗情報をAPIにて取得する。Google Maps Platformの[PlaceAPI](https://developers.google.com/maps/documentation/places/web-service/overview)でも同じことはできそうだが、無料で試せるYOLPにて取得してみた。
[Yahoo!ローカルサーチAPI ](https://developer.yahoo.co.jp/webapi/map/openlocalplatform/v1/localsearch.html)を使用し、中心位置を指定して円範囲で絞り込む。

>[リファレンス](https://developer.yahoo.co.jp/webapi/map/openlocalplatform/v1/localsearch.html)より引用
>Yahoo!ローカルサーチAPI(以下、ローカルサーチAPI)は、店舗、イベント、クチコミ情報などの地域・拠点情報(POI)を検索するためのAPIです。
検索対象は、全国の店舗を網羅した電話帳データおよび店舗オーナー

【Python】Yahoo 気象情報API から雨量情報を取得してみた

#初めに
ダッシュボード作成のために、雨量をAPIにて取得する
[YOLP 気象情報API ](https://developer.yahoo.co.jp/webapi/map/openlocalplatform/v1/weather.html)を使用する。

>[リファレンス](https://developer.yahoo.co.jp/webapi/map/openlocalplatform/v1/weather.html)より引用
>指定した緯度経度の雨の強さを取得できるAPIです。
>現在時刻の降水強度実測値から、60分後までの降水強度予測値を取得できます。

##環境
-Windows10
-Python 3.9.8

##パラメータ
* appid => Yahooデベロッパー登録をし、取得する
* lat_lon => 経度,緯度(世界測地系)
* output => 出力形式を指定(json/xml)
* date =>日時を指定(YYYYMMDDHHMI形式)

本コードではyahoo_url.formatにてパラメータをセットしてください。

# コード
“`p