Python関連のことを調べてみた

[Azure]IoT Hubへの通信をローカル実行Functions(Python)で受けて表示する方法

前回はIoT HubへのメッセージをAzure Stream Analyticsで受ける方法を調べていきましたが、今回はAzure Functionsで受ける方法を調べていきます。

:::note info
前回記事
[[Azure] IoT Hub と Azure SQL を Stream Analytics を介して接続する #Azure – Qiita](https://qiita.com/fsd_maclala/items/a5b32766b7502c0d9b92)

:::

## 環境

Windows11, WSL2
“`bash
❯ cat /etc/lsb-release
DISTRIB_ID=Ubuntu
DISTRIB_RELEASE=22.04
DISTRIB_CODENAME=jammy
DISTRIB_DESCRIPTION=”Ubuntu 22.04.2 LTS”
“`

## おおまかな流れ

1. Azure Functions Core Toolsのインストール
1. Azure Functions リソースの用意
1. funcコマンドでFu

AttributeError: partially initialized module ‘❓❓❓’ has no attribute ‘❓❓❓’ (most likely due to a circular import) 解決法

# 解決法
「AttributeError: partially initialized module ‘❓❓❓’」

– 上記の「❓❓❓」の部分のモジュールと同名のファイルがないか確認
– あれば（というかあるからエラー）、**同名のファイルの名前を変更**

例えば僕の場合は、
“`python:sample.py
import subprocess
“`
を実行するとエラーが起きたので、、
「`Me/subprocess.py`」を「`Me/subprocess2.py`」へ名前変更
“`
Me/
　├ sample.py
　├ subprocess.py　← 「subprocess2.py」などに変更

Python/
　├ Libs/
　 ├ subprocess.py
“`
すると正規のモジュール「`Python/Libs/subprocess.py`」が読み込まれます。

# 原因
単にファイル名がダブっていたことで、自作の非正規な`subprocess.py`が優先して読み込まれていただけでした。

ちなみにエラーの全文は
“`
AttributeE

【世界最速レビュー】ADFI画像認識で「きのこ・たけのこ判定アプリ」を作ってみた！【作成したアプリ公開】

昨日（2024/3/12）、[「ADFI画像認識」のベータ版がリリース](https://www.atpress.ne.jp/news/387798)されました！
さっそく「ADFI画像認識」を使って、AIアプリを作成してみた感想を載せます！
世界最速のレビューかも？

ちなみに、ADFIはクラウド上でAIを開発できるプラットフォームで、「ADFI画像認識」はベータ版なので無料で使えます！

# きのこ派orたけのこ派 判定アプリ


せっかくなので、日常生活で役立ちそうなアプリを作ろうと思い、
スマホで撮影したものが、「きのこの山」と「たけのこの里」のどちらの派閥か判定（どちらに似ているか識別）するアプリを作ってみました！
今後の「きのこの山 VS たけのこの里」の戦いの必需品になるかも？

下記QRコードで、このアプリを利用できま

k-meansでTitanicデータをクラスタリングしてみた

# はじめに
k-meansを使って、有名なtitanicデータをクラスタリングしてみます。

特徴として、単純なアルゴリズムであることや連続変数を扱いやすいこと、統計的な手法でないこと（正規分布を仮定していたりしないこと）などが挙げられます。

# titanicデータをk-meansでクラスタリング!
### データ読み込み~クラスタの割り当て
“`python
# ライブラリをインポート
import seaborn as sns
import pandas as pd
import numpy as np

import matplotlib.pyplot as plt

from sklearn.cluster import KMeans
from sklearn.preprocessing import StandardScaler

import warnings
warnings.simplefilter(action=’ignore’, category=FutureWarning)
“`

“`python
# Titanicデータセットをロード
titani

ChatGPTを活用してサーキュレーターの異常検知をやってみた！

# １．はじめに

こんにちは。(株) 日立製作所の[Lumada Data Science Lab.](https://www.hitachi.co.jp/products/it/lumada/about/ai/ldsl/index.html “Lumada Data Science Lab.”)の山崎 建です。
私は入社１年目の新人データサイエンティストであり、普段の業務では、データ分析による課題解決や、データ利活用のためのコンサルティングを行っています。
今回は **自身のデータサイエンスの知識と生成AIを用いて、自宅で活用できるデバイスを短期間・低コストで開発できる** ことを実体験を紹介しながらお伝えします。
本記事が、ご覧くださっている方々が気軽にデバイスの開発に取り組み、その面白さを体感するきっかけとなれば嬉しいです。データサイエンスを学んでいる方は自身の知識をモノに昇華することができ、初心者の方はChatGPTに質問しながら開発を行うことで副次的に知識習得につながると考えます。

# ２．デバイス開発におけるCharGPTの活用

今回デバイス開発においてChatGPT

LLMのエラー対応

# llama-cpp-python のエラー対応１

llama-cpp-pythonのインストールでエラーが発生した。

“`
py -3.8 -m pip install llama-cpp-python
“`

ERROR: Could not build wheels for llama-cpp-python, which is required to install pyproject.toml-based projects

下記の通り、参考にした。

“`
download and install the “Microsoft C++ Build Tools” from the official Visual Studio website. Here are the steps you can take:

Visit the following URL: https://visualstudio.microsoft.com/visual-cpp-build-tools/.

On the webpage, you should see a “Download”

pipreqsを使用してrequirements.txtを自動生成する

pythonで個人開発でローカルでいろいろ作ってたので依存管理自動でできないかなと思ったらちゃんと`pipreqs`っていう自動生成できるってのがあったので使ってみる。
`pipreqs`の中身はこちら
https://github.com/bndr/pipreqs

pipreqsをインストール
`pip install pipreqs`
requirements.txtを以下のコマンドで作成
`pipreqs .`（ディレクトリ内で実行）
更新すると自動作成されます。

追記
`INFO: Not scanning for jupyter notebooks.
WARNING: Import named “azure_storage” not found locally. Trying to resolve it at the PyPI

世界各国の人の顔写真をPythonを使って画像分類してみた！

## はじめに
はじめまして！
フリーランスとしてWEBディレクターをしているNaohiroといいます。
WEBディレクターやマーケティング施策をおこなっている過程でデータサイエンスの力の必要性を感じ、Python学習を始めました。
今回はアウトプット学習の成果物として本記事を投稿させていただきます。

## 本記事の概要

日本人を含むアジア圏の人の顔写真をPythonの画像分類のモデルに学習させ識別させました。
今回はプログラミングの過程や結果、結果に関する考察についてお伝えできればと思います。

## 目次
– 今回の目的
– 実行環境
– プログラム
– 画像収集
– (画像の前処理)
– モデル構築
– 結果
– 試行錯誤
– 考察と反省
– おわりに

### 今回の目的
今回外国人の顔写真識別のモデルを構築するに思い立った経緯は、普段の日常の何気ない疑問からでした。

みなさんはテレビや映画を見ている時、「この人、どこらへの国の人だろう」と思う瞬間はないですか？
そんな時、パシャっと写真をとって、国や地域の判別ができたらスッキリしません

PythonでOpenGL

マウス座標を取得して、その場所になにか描画するサンプルをpythonでしたくて、openGLを使った話です。

# 環境
Mac
PyOpenGL
glfl

# ライブラリのインストール
“`
pip install PyOpenGL PyOpenGL_accelerate
pip show PyOpenGL
“`
Version: 3.1.7

“`
pip install glfw
pip show glfw
“`
Version: 2.7.0

“`python:python
import glfw
from OpenGL.GL import *

def main():
glfw.init()
window = glfw.create_window(640, 640, “title”, None, None)

glfw.make_context_current(window)
glfw.set_cursor_pos_callback(window, mouseFunc)
glfw.set_key_callback(windo

同期処理と非同期処理（async/await）

## はじめに
同期処理と非同期処理（async/await）に関しての備忘録。

## 🦁**結論**🦁
処理時間を向上させる上で
「非同期処理」と「並列処理」は必須。
まずは処理自体に
「同期処理」と「非同期処理」があることを理解して、「非同期処理に分類されるもの」or「非同期処理として明示するもの」とがあることを理解することが大事。

選定して組立してコードを加える必要がある。

並列処理は別のもので別の記事でアップ予定。
（私は並列処理を混同させてしまって混乱してしまった。）

:::note info
同期処理のポイント
* 上から順番に一つずつ完了させる処理（逐次処理）
* 前の処理が完了しないと次の処理が始まらない。
* 可読性は高く、理解しやすい。
* 処理時間に時間がかかる。
:::

## **同期処理の例（非同期処理をできないもの）**
## **forでのループ処理**
コレクション内のアイテムを順に処理する。
“`py
for item in collection:
proce

Pythonのお手軽CLI化ツールjsonargparseの紹介

# はじめに

本記事では、Python スクリプトに CLI を追加するツール [jsonargparse](https://github.com/omni-us/jsonargparse) を紹介します。

jsonargparse は関数やクラスの型ヒントや docstring などを利用して CLI を構築するツールで、同種のツールと比べて、デコレータなどの「CLI のためのコード」をほとんど必要としないという特長があります。これにより、Python の基礎さえ分かっていればスムーズに扱える、学習コストが極めて低いツールとなっています。

このタイプのツールの草分け的存在に [Python Fire](https://github.com/google/python-fire) がありますが、jsonargparse もそれに [インスパイアされた](https://jsonargparse.readthedocs.io/en/latest/#comparison-to-fire) ツールです。Fire とは方向性が少し違うので Fire を完全に置き換えるものではありません

LambdaにLine BOTを作ったメモ

Cloud9環境でLambda(Python)にLine Botを作る手順をまとめておきます。
例によって自分用。

ちなみに自動応答や一斉配信、リッチメニュー等は公式アカウントの機能で実現できます。今回はSlackとの連携やデータ収集機能を追加する予定なのでLambdaで実装しました。

## 前提
– OS：Amazon Linux 2023
– Pythonバージョン：3.10
– [LINE Messaging API](https://developers.line.biz/ja/services/messaging-api/)

## LINE側準備
### LINE公式アカウント作成
まずは[LINE公式アカウント](https://www.lycbiz.com/jp/service/line-official-account/)を作成します。複数人での管理を前提とするならメールアドレスで登録しておきましょう。
Project:;COLD 謎の動画「顕現」の楽譜取得までのWriteup

# はじめに
この記事は 「現実と仮想が交錯する不可逆性SNSミステリー『Project:;COLD』(プロジェクトコールド)」で現在展開中の「アルターカーニバル」の謎解き部分のネタバレを含みます。

現在物語が終盤へ向けて動いているところです。
今週末にまた展開が有りそうです。

今からでも遅くない！
https://www.project-cold.net/story/altarcarnival/ などをお読みいただき、
物語を追われることを推奨します。

# 謎の動画「顕現」について

ちょっと怖い雰囲気のある動画なので閲覧注意です。
https://www.youtube.com/watch?v=QNO1bx0rC80　

この動画に含まれる「字幕」と「バーコード」を解析することで謎の手がかりを得ることができる仕組みになっています。

## 字幕

字幕の方は
「。」は0、「゜」は1を示していそうなので、これをデコードすることで以下の文章を得ます

“`python
binary_data_utf8 = “0100010001001101001000000110110101

Pythonで大容量CSVファイルを分割してみた。

## 作成背景

仕事中に数百万行あるCSVがMicrosoftExcelやメモ帳で開けなかったのでPythonを使って分割してみました。
そもそも一度に出力せず作成の段階で分割しといてほしかったのですがそうも言っていらないのが世の中というものです。

## 全体

今回作成したソースコードの全体となります。
loggerを使っていなかったり実験的にpandasではなくdaskを使ったのは個人的なスクリプトだったのでめんどくささと遊びが勝ちました。

作成コード

“`python
import argparse
import dask.dataframe as dd
from pathlib import Path
import sys

#引数の受け取り
parser = argparse.ArgumentParser() # クラスの作成
parser.add_argument(“Path”) # 第一引数(必須)
parser.add_argument(“-c”, “–Chunk”, type=int, defaul

IQ 130 は偏差値 70 ？: 二つの指標の共通点と相違点について

### **user**:

ChatGPT先生、前から気になってたんですけどね、IQってどういう定義なんですか？

—

### **assistant**:

ああ、また君の質問か。私がいつでも君の知識欲を満たしてあげると思い上がっているなんて、誤解していると困るわ。

まあ…でも、それに関しては教えてあげてもいいわ。はっ、私が優しいからだと思わないことよ！

IQ、つまり知能指数は、心理学で一般的に用いられる知能の尺度のことね。具体的には、個々の知能の発達度を中心年齢という基準に照らし合わせて測るものよ。テストの結果を数値化して表し、その人の知能の発達度を比較的客観的に示すことができるの。

ただしね、IQは全ての知能をカバーしているわけではないから。特性や才能、創造力などはIQテストだけではうまく評価できない部分もあるのよ。だから君も、絶対的な指標だと考えないでほしいわ。満足したかしら？

—

### **user**:

ありがとうございます。IQを計算する式をPythonで実装したりできますか？

—

### **assistant**:

また私に頼って…

データ分析でよく使うスニペット集【初手LightGBM編】

# はじめに
機械学習モデルを作る際、まずはベースラインを作成します。
最初のSTEPとしては、ひとまず初手LightGBMするのが通説のようで、この記事では、自分用に、初手LightGBMを行って、submitするまでのコードをスニペットとしてまとめます。

前処理に関してはこちらの記事でまとめています。
https://qiita.com/arima_/items/f56f15c13726a74dc1ad

なお、以下のコードはTitanicデータをイメージしています。

# 分類タスクの場合
### データセットの作成(共通)
“`python
# 初手LightGBMで使用する欠損値のないデータを準備
x_train = train_df[[‘Pclass’, ‘Fare’]]
y_train = train_df[‘Survived’]
“`

### クロスバリデーションでLightGBM(分類タスク専用)
“`python
# ライブラリの読み込みとパラメータの設定
from sklearn.model_selection import train_test_spl

初心者は第一言語にPython避けるべき？

## 初心者は第一言語にPython避けるべき？

そのように思う理由をざっと箇条書きにすると以下

1. カリキュラムが途中で途切れる（かも）
1. アプリ開発したいなら別の選択肢も

### 1. カリキュラムが途中で途切れる（かも）
もしプロゲートやドットインストールの教材をメインに学習している場合、Webアプリ作成まで辿り着けない可能性があります。どちらもわかりやすく学べますが、PythonコースではWebアプリ作成の指導コースがありません。（Paizaという似たような学習教材はPythonでのWebアプリ開発コースを用意してくれています。）
やったことはありませんが、ProgateならRubyで、ドットインストールならPHPで、Webアプリ開発の指導までしてくれそうなコースがある気がします。
（Webアプリを作る際、その言語に紐づくフレームワークというものを用いるのが一般的です。RubyではRubyonRails、PHPならLalavel、PythonならDjangoかFlaskというフレームワークがあります。ドットインストールにはRubyonRailsの教材があり、ドットイ

Pythonで「パターンから正規表現オブジェクトを作成する(Pattern)」の動作を確認してみた

# 概要

Pythonで「パターンから正規表現オブジェクトを作成する(Pattern)」の動作を確認してみました。
以下のページを参考にしました。

https://www.javadrive.jp/python/regex/index2.html

# 実装

以下のファイルを作成しました。
“`sample.py
import re

filename = ‘apple.png’
pattern = re.compile(r’png$’)

result = pattern.search(filename)
if result :
print(‘パターンにマッチします’)
else :
print(‘パターンにマッチしません’)
“`

以下のコマンドを実行しました。
“`
$ python3 sample.py
パターンにマッチします
“`

# まとめ

何かの役に立てばと。

高校入試整数 反比例「2024 愛知県高校入試 数学大問１(7)」をChatGPTとsympyでやってみたい。グラフ作図追加

長文です。

グラフ作図追加しました。(2024/03/13)
**・パイソニスタの方へ**
**・ChatGPT-3.5先生への、私の質問の仕方が悪いですか？**
**・sympyの直し方もわかりませんでした。**
**・結果だけなら2,3行で、できますか？**

# オリジナル
#### 中日進学ナビ 様
https://edu.chunichi.co.jp/site_home/highschool/pdf/2024_sugaku_q.pdf#page=4

#### 東進 様
**大問1(7)**。
2024/03/13
現在、ご利用いただけない状態となっております。
時間を置いて再度ご利用願います。

https://www.toshin.com/koukou_nyushi/files/2024/sugaku_q/aichi_sugaku_q.pdf#page=4
＜2024年全国公立高校入試解答速報｜大学受験の予備校・塾 東進
https://www.toshin.com/koukou_nyushi/

#### 中日進学ナビ 様

https://edu.chunichi.

Pythonでコラージュ川柳を詠む

# はじめに

コラージュ川柳がめちゃくちゃ好きで作りたいのだが、筆者は紙の新聞の契約をしていないため、Pythonとインターネットでやってみた。

https://www.yomiuri.co.jp/local/kansai/news/20230422-OYO1T50019/

# データソース

「インターネットでスクレイピングして辞書を作ろうか、しかし文字数の処理がわからない…辞書さえ作れてしまえばあとは一瞬なのに…」と1年近く悩んでいたが、別件で形態素分析周りを調べていたところ、全ての問題を解決できる「単語感情極性対応表(著作者:東工大　高村教授)を発見した。素晴らしすぎる。

http://www.lr.pi.titech.ac.jp/%7Etakamura/pndic_ja.html
http://www.lr.pi.titech.ac.jp/~takamura/pubs/pn_ja.dic
43400語収録、よみがな、品詞付きである。素晴らしすぎる。
このリストをcsvにし、よみがなの文字数の列を追加したものをPythonで取り込む。

# 実装
“`python
i