Python関連のことを調べてみた

Python3エンジニア認定試験 模擬ひたすら解いてみた

最後にひたすら模擬を解いて、間違えた問題の理解をしました。

**ExamApp 模擬試験アプリ Python3エンジニア認定試験 基礎・初級**
**ExamApp 模擬試験アプリ Python3エンジニア認定試験 基礎・中級**
**ExamApp 模擬試験アプリ Python3エンジニア認定試験 基礎・上級**

| 開始日 | レベル | 正解率 |
|:———–|————:|:————:|
| 2024年01月24日11時11分 | 初級 | 92% |
| 2024年01月24日14時00分 | 中級 | 97% |
| 2024年01月24日16時25分 | 上級 | 82% |

**ディープロ Python3エンジニア認定基礎試験**
| 開始日 | 正解率 |
|:———–|————:|
| 2024-01-25 11:13 | 90% |
| 2024-01-25 14:18 | 97% |

**PRIME STUDY 第1回 Python 3 基礎 模擬試験**
| 開始日 | スコ

学校の課題のテンプレートのCGIでoperation not permittedと言われた話

## 結論
ダウンロードしたとき、ファイルつくに拡張属性`com.apple.quarantine`がわるさをしていたみたい。
だから以下のコマンドで実行する
“`sh
xattr -d com.apple.quarantine ./cgi-bin/upload_file.py
“`

## ことの始まり

前提

“`
├── cgi-bin
│ └── upload_file.py
└── local_server.py
“`

“`python:local_server.py
import http.server
http.server.test(HandlerClass=http.server.CGIHTTPRequestHandler)
“`
“`python:cgi-bin/upload_file.py
#!/usr/bin/env python3
print(“Content-Type: text/plain”)
print(“”)

print(“Hello World”)
“`
– `uplo

【Python, Unity】（ほぼ）コピペでUnity・Pythonの双方向通信を簡単に記述する

## はじめに
機械学習を`Unity`ゲーム上に持ち出したいとき、機械学習部分をどうしても`Python`で動かしたいとき、ありますよね。 ~~（機械学習界隈がよりによって`Python`の砂の城の上で遊んでいるため）~~

そこで、`Unity`と`Python`のTCPによる双方向通信を抽象化したコードを書いたので、その導入方法をご紹介します。

## やりたいこと
TCP通信にて、
– `Unity` -> `Python`
– `Python` -> `Unity`

の間で`JSON`を送りあいます。

一方からもう片方へメッセージが送られたら、そのメッセージを正しく処理できる **コールバック関数** を呼ぶ、というインフラを両者にスタンバイさせます。

ここでは、`Python`側がTCPサーバー、`Unity`側をTCPクライアントにしています。（起動順が変わるだけで、接続語は両者とも対等です）

### データ形式
**形式名**と**JSON部分**に分けます。
– **形式名**
JSON部分の形式を指定します。 **送られてきたデータが何のデータか識別

Pandas データフレームを Spark データフレームへスキーマを指定して変換する際にはカラム順に注意

## 概要

Pandas データフレーム（以下、Pandas）を Spark データフレーム（以下、Spark df）へスキーマを指定して変換する際には、指定したスキーマ順で変換する仕様であり、変換前の Pandas とカラム名が変わってしまう場合あることに注意が必要です。

下記図にて、上の結果が Pandas の結果であり、下の結果が Spark df の結果です。Pandas の geder と profession が Spark df に変換すると値はそのままであるがカラム名が反対になっていることが確認できます。これは、`schema` にて profession を gender より先に指定していることが要因のようです。


“`python
import pandas as pd

data = {
“name”: [“

Azure Functions for Python / model V1とV2を比較

# 概要
知らないうちにPythonのAzure Functionsでmodel V2が正式リリースされていたので
確認がてら以前のV1と比較しつつまとめました。

↑ VSCodeの拡張がプロジェクト作成時に選べるように

# 環境等
– Windows11
– Python(v3.10.11)
– VSCode, AzureFunctions拡張(v1.13.1)

# 大きな変更点
– function.jsonが消え、フォルダ単位で関数を管理する必要が無くなった
– バインドは関数のデコレーターが担うように
– blueprintファイル(function_app.py)を使用してのルーティング
– 関数を一括で管理できるように

### ファイル構造比較
![image.png](https://qiita-ima

Creating a Python Library Using PyO3/Maturin

[日本語版はこちら](https://qiita.com/Ameyanagi/items/871a4507b6288753b2a9)
この記事は[ホームページ](https://cheminfuse.com/posts/spdist-library)でも公開しているものです。

# Creating a Python Library Using PyO3/Maturin

## Library Overview

In this article, we discuss:

– [spdist on GitHub](https://github.com/Ameyanagi/spdist)
– [spdist on PyPI](https://pypi.org/project/spdist/)

## Background

My current

PyO3/Maturinを使用したPythonライブラリの作成


この記事は英語の[ブログ投稿](https://cheminfuse.com/posts/spdist-library)を日本語に翻訳しました。ブログ投稿を日本語に翻訳しました。
[ホームページ](https://cheminfuse.com/posts/spdist-library-jp)でも同じ内容を投稿しています。

# PyO3/Maturinを使用したPythonライブラリの作成

## この記事で紹介するライブラリ

– [spdist on GitHub](https://github.com/Ameyanagi/spdist)
– [spdist on PyPI](https://pypi.org/project/spdist/)

## 背景

現在私は、X線吸収分光法（XAS）に関する研究を行っています。この分野では、実

LlamaIndexでネットワーク接続なし,ローカルで日本語で独自項目をAI回答させる

# はじめに

自社システムのFAQとして日本語AI回答機能を追加する場合、**LlamaIndex**で実現可能
との記事がありましたので参考にして試してみました。
結果、たしかにネットワーク接続なし (LANケーブル接続なし) 環境でも日本語で質問すると
日本語で回答してくれることが分りました。
質問と回答の組み合わせを自分で登録しておけるので、これは使えそうな気がします。
今回試した手順を残します。

# 前提

Windows 環境 Python **3.10.11** を使用します。
Microsoft Store からインストールでも、別の方法でも問題なし。
venv で仮想環境を構築し、そこで作業することにします。

# フォルダ構成 (最終的にこうなります)

#### 1.inputs
質問と回答の組み合わせを記載したファイルを

Python：割り算の答えが浮動小数点数で返る理由

本日は ｢割り算の答え｣ が, 浮動小数点数で返る理由を書いてみます (o'(ェ)’)_🐍

## 【 CPU の中身について】

　CPU という ｢計算処理を行う部分｣ において, その中身は, おおまかに ALU (整数を処理) と FPU (小数を処理) に, わかれています 🖥

## 【 ALU の特徴について】

　ALU は ｢小数の計算｣ が, できません。

　Python においては // (ダブル・スラッシュ) を使用しますと ALU により ｢割り算｣ が, 行われますが ｢整数｣ しか返せないので ｢商と余り｣ という ｢かたち｣ で計算し ｢商｣ のみが ｢答え｣ として, 返る仕組みに成っています。また ｢余り｣ を計算したいときは % (パーセント記号) を, 別途使用して計算します。

“`python
#ALU：商の求め方
quotient = 10 // 3
print(quotient) # 計算結果 3

#ALU：余りの求め方
remainder = 10 % 3
print(remainder) # 計算結果

faiss入門: ANN(近似最近傍探索)を動かしてみた

ANN(Approximate Nearest Neighbor)のPythonパッケージである **[faiss](https://github.com/facebookresearch/faiss)を動かしてみました**。いくつかあるANNのPythonパッケージの中でfaissを選んだのには、特に深い理由はありません(たまたま仕事で関係あったから)。あまり時間かけて調べてないので、書いている内容に間違いあるかもしれません。

# 環境
普通にpipでPythonパッケージはインストールし、ローカルのMac PCでJupyterで動かしています。

|種類|バージョン|備考|
|:-:|:-:|:–|
|Python|3.9.13|今どき少し古め|
|faiss-cpu|1.7.4|CPUで動かしいます|
|numpy|1.26.3||
|pandas|2.1.4|Jupyter表示に少しだけ使用|

# 動かした内容
フラットインデックスでの総当りの検索と、”IndexIVFFlat”というインデックスでの近傍検索のインデックス作成時間、検索時間およびリコールを調べています。

Windowsで作成したLambdaレイヤーで”Unable to import module”エラーが発生した場合の対処（の一つ）

ローカルのWindows環境で外部ライブラリの動作確認をした後に、脳死で`pip install -t`してLambdaレイヤーを作成したらLambdaで以下のエラーが発生した際の調査メモ。
※他の原因（循環参照）でも同じエラーが発生するようなのでどちらが原因かは適宜判断

`[ERROR] Runtime.ImportModuleError: Unable to import module’lambda_function’: cannot import name ‘xxx’ from partially initialized module ‘xxx’ (most likely due to a circular import)
`

# 環境
– ローカル環境：Windows
– Lambda：Python

# 原因
そのまま書いてありました。
要はライブラリにバイナリを含む場合は、インストール時の環境（Windows）とLambda実行環境（Amazon Linux）の差異でエラーになるようです。

> NumPy や pandas などのコンパイル済みコードを含む Pytho

ハイリキ(Hyperliquid)の取引量をbotで増幅させてみた件

勉強がてらハイリキのbotを作ってみたので忘れないように以下に記録します。
コードはご自由にお使いください。

:::note info
以下のリンクからアクセスすると手数料が常時4％安くなります。
https://app.hyperliquid.xyz/join/DANIELTANAKA
:::

# 環境設定（コピペでOK）
環境設定が一番難しいです。

:::note alert
以下のコードを実行する場合は全て自己責任でお願い致します。
本記事は教育目的での共有であり、投資を勧誘するものではありません。
:::
## Macでの設定
仮想環境を用意します。

仮想環境を用意する方法は以下の通りです。
ターミナルを開いて以下のコマンドをコピペします。
“`bash
pip install virtualenv
virtualenv myenv
source myenv/bin/activate
“`
次に必要なライブラリをインストールします。
“`bash
pip install –upgrade pip
pip install hyperliquid-python-s

Django学習② 管理画面の確認　学習アウトプット用

### 管理画面まで学んだのでアウトプット

1. 初期設定
プロジェクトの紐付けと日本語変更
1.configフォルダのsetting.pyの設定
“`python
INSTALLED_APPS = [
‘django.contrib.admin’,
‘django.contrib.auth’,
‘django.contrib.contenttypes’,
‘django.contrib.sessions’,
‘django.contrib.messages’,
‘django.contrib.staticfiles’,
# ここに作成したアプリの追加
‘todo.apps.TodoConfig’,
]

# 日本語に変更
LANGUAGE_CODE = ‘ja’
# 日本時間に設定
TIME_ZONE = ‘Asia/Tokyo’

“`

2.モデルの作成
models.pyでモデルの定義
“`python
from django.db import models

# Create your mo

Django学習① 　環境構築編　個人アウトプット用

## 個人学習記録(mac)

### 環境構築
##### 手順
– pythonのinstall
– 仮想環境の作成
– 仮想環境にDjangoのインストール
– プロジェクトの立ち上げ
以上の流れ

1.Pythonのinstallは割愛

2.仮想環境の作成
“`linax
$ mkdir my_Django

# 仮想環境に必要なフォルダを構築
$ python -m venv venv

# 仮想環境を有効にするためのコマンドを実行
$ source venv/bin/activate

#アップグレードもしておく
$ pip install –upgarade pip
“`

3.Djangoのインストール
“`linax
# install方法はいろいろあるっぽい
$ pip install django==バージョンを入力(例4.0.2）

# バージョン確認もしておきましょう
$ python -m django version
“`

4.プロジェクトの立ち上げ

“`linax
# プロジェクトディレクトリの作成
$ mkdir myapp
$ c

Pythonで〇×ゲームのAIを一から作成する　その48　デバッグ表示と、可変長引数と実引数の展開

# 目次と前回の記事

https://qiita.com/ysgeso/items/2381dd4e3283cbed49a0

https://qiita.com/ysgeso/items/8f3d4b3d2c02ef51a70e

## これまでに作成したモジュール

以下のリンクから、これまでに作成したモジュールを見ることができます。

https://github.com/ysgeso/marubatsu/blob/master/048/marubatsu.py

https://github.com/ysgeso/marubatsu/blob/master/048/ai.py

## これまでに作成した AI

これまでに作成した AI の アルゴリズム は以下の通りです。

| 関数名 | アルゴリズム |
|:-:|:–|
| __[`ai1`](https://qiita.com/ysgeso/items/bdbcd4c1ab1d8731df58#ai1-%E3%81%AE%E5%AE%9A%E7%BE%A9)__ | __左上から順__ に __空いているマス__

ChatGPTとPythonで学ぶ Gradio：Chatbot編

おはこんばんちわ。今日も引き続きChatGPT先生をお迎えして、「ChatGPTとPythonで学ぶ Gradio：Chatbot編」というテーマで雑談したいと思います。それではChatGPT先生、よろしくお願いします。

—

### **assistant**:

おはようございます、こんばんは。引き続きよろしくお願いいたします。今日はGradioというツールについてあなたと学びたいと思います。GradioをPythonで使ったことはあるでしょうか？

GradioはPythonでのインタラクティブなデモ作成を簡単にするためのツールです。特に機械学習モデルのデモの作成を目的としていて、モデルの入力と出力をグラフィカルなインターフェイスで扱うことができます。文字列、画像、音声など、さまざまなタイプの入力と出力に対応しています。

今回のテーマである「Chatbot」について言えば、Gradioを使ってユーザからのテキスト入力を受け付け、ChatGPTが生成した応答を表示するようなデモを簡単に作成することができます。詳しい使い方については、次に進んで説明していきたいと思います。

【StreamDiffusion】TensorRTをオンにするまでのエラー対応備忘録

# 環境
Windows 11 Pro
CPU：Core i9-13900KF
GPU：GeForce RTX 4090 24GB
メモリ：64GB

Python：3.10.11
CUDA：11.8
cuDNN：8.9.7
PyTorch：2.1.1

# StreamDiffusionインストール
これ通りに進める。

https://github.com/cumulo-autumn/StreamDiffusion

問題なく動かせたけど、conda環境でもvenv環境でもTensorRTをONにするための
`python -m streamdiffusion.tools.install-tensorrt`
で
“`
python.exe エントリポイントが見つかりません
.conda\envs\NAME\lib\site-packages\nvidia\cudnn\bin\cudnn_cnn_infer64_8.dll
“`
のようなエラーが出る。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazon

dmarc-visualizer を起動後 ModuleNotFoundError: No module named ‘msgraph’ が出て動かない時にすること

## はじめに

[dmarc-visualizer] を利用し DMARC レポートの集計を試みた。
諸々の設定が完了し起動してみたが `ModuleNotFoundError: No module named ‘msgraph’` が発生し、[dmarc-visualizer] を起動できなかった。原因が分かったので回避策と理由を書き残しておきます。

https://github.com/debricked/dmarc-visualizer

## 出力されたエラー

[dmarc-visualizer] を起動すると下記エラーで終了してしまう。

“`zsh
Traceback (most recent call last):
File “/usr/local/bin/parsedmarc”, line 5, in
from parsedmarc.cli import _main
File “/usr/local/lib/python3.9/site-packages/parsedmarc/__init__.py”, line 31, in

Python学習4日目～関数～

## 引数
### 位置引数とキーワード引数

~~~Python:example.py
print(‘Hello’,’Python’,end=”)
~~~

この場合HelloとPythonは位置引数でend=”はキーワード引数となる
位置引数は引数名を書かない引数
引数=値になっている引数がキーワード引数

## 関数の定義

defを使用する
~~~Python:example.py
def 関数名(引数,…):
文
~~~

~~~Python:example.py
def order(main,side,drink):
print(‘main: ‘,main)
print(‘side: ‘,side)
print(‘drink: ‘,drink)

order(‘steak’,’salad’,’coffee’)
~~~
~~~:実行結果
main:steak
side:salad
drink:coffee
~~~

このときのmain,side,drinkを**仮引数**
‘steak’,’salad’,’coffee’を**実引数**

Rhinoceros x Pythonで3Dデータの分析をしよう(実践編)

# はじめに

https://qiita.com/pensuke_san/items/092db0188d2901538389

こちらの前回の記事で、RhinocerosをPythonを使って操作する環境のセットアップができました。本記事では実際に3Dデータを使用したRhinocerosにおける3Dデータの分析例をご紹介したいと思います。ここではオープンな3Dの都市データが提供されているPlateauのデータを使用します。

# Plateauデータセットの準備

## Plateauとは

Plateauとは国土交通省日本の都市の3Dモデル化プロジェクトで、3D都市モデルを整備し、様々な活用の取り組みがなされています。誰でもデータを利用できるように整備された3D都市モデルがオープンなデータとして提供されています。

## データの準備

PlateauのWebサイトからデータをダウンロードします。正確にはG空間情報センターからProject PLATEAUのデータをダウンロードすることができます。

https://www.geospatial.jp/ckan/dataset/p