Python関連のことを調べてみた

TransformerのEncoderの出力するベクトルを用いた文の評価

# TransformerのEncoder部分から出力されるベクトルを使用して文を評価できないのだろうか？

どこにも見せる場がないので、ここに記そうと思います。
###
コードはGitHubにあります。
https://github.com/NeoSolleil/metrics.git

## どういうこと？？

文評価系のタスクを行うときに文のベクトル同士のコサイン類似度でどれぐらいMT訳（翻訳文）が正しいかを判定することがあるんですよ。
そこで、TransformerのEncoder部分から出力されるベクトルを使えば、それなりに良い文評価ができるのかなと思ったので、やってみました。（学習をしていない文には正しいベクトルが出力されないと思うので、学習を行った文しか文評価はできません）


## なぜやろうと思ったのか
nlpではよく自動評価法BLEUを使用して翻訳文を評価して

pyintallerで起きたエラー文の解決[超簡潔]

### PC環境
* Windows11
* PowerShell 7 Preview
* Python 3.12.2
* Pyinstaller 6.4.0 （変更前）
* Pyinstaller 5.13.2 (変更後)

### pyinstallerのインストールとバージョンの確認
“`powershell
python -m pip install pyinstaller
python -m PyInstaller -v
# 6.4.0
“`

### 実行ファイルの作成

下記のコマンドで問題なく実行ファイルは出力される。

“`powershell
python -m PyInstaller .\test.py
“`

“`python[test.py]
import tkinter
tkinter._test()
“`

### コンソールを開かずにGUIを表示する
この場合はpyinstallerのバージョンを下げないとうまく処理されない。

“`powershell
pip uninstall pyinstaller
pip install pyins

空間図形 三角錐「2024 慶應義塾大学 経済[4]」をsympyとFreeCADでやってみたい。

・３次元FreeCADのワイヤーフレームです。
・勉強中。軸線方向の見え方。文字の回転です。
オリジナル
問題
https://www.yomiuri.co.jp/nyushi/sokuho/s_mondaitokaitou/keio/mondai/img/keio_213_sugaku_mon.pdf#page=4
解答
https://www.yomiuri.co.jp/nyushi/sokuho/s_mondaitokaitou/keio/kaitou/img/keio_213_sugaku_kai.pdf#page=2

＜ 2024 慶應義塾大学 経済 ＜ 読売新聞オンライン 様　ページ
https://www.yomiuri.co.jp/nyushi/sokuho/s_mondaitokaitou/keio/1376715_5113

上と同じです。大学入試数学問題集成 様＞テキスト
未登録(2024/02/23)

公式ホームページ
未登録(2024/02/23)

# 解答解説
めぐろ塾 様より
スクロールして下さい。ジャンプしません。[4]

https://www

DatabricksにおけるUpdate文の効率的な利用：多数のUpdate文実行によるパフォーマンス問題とその解決策

## 概要

Databricks (Spark) における Update 文の動作仕様を確認した上で、 Update 文を多用した際のパフォーマンスの懸念事項をその対処方法を記述します。

Databricks では、述語（Where 句）を指定しない場合に Update 文を実行すると、Overwrite (Turncate + Load)の動作となり全件データの再書き込みが実施されれます。

RDB のように部分的なデータ更新が行われるわけではないため、多数の Update 文を実行するとパフォーマンスの問題が発生します

その事象に対しては、次のような対応方法があります。

1. Update 文を 1 つにまとめて実行
2. データフレーム操作として書き込みを実行

それぞれの方法の実行時間を下記表にまとめました。提示した対応方法の実行時間という観点で改善されていることを確認できます。なお、この実行時間自体が、Databricks の性能を示してはいないことに注意してください。

| # | 実施方法 | 実

ハッカソン参加時の備忘録 ～ 第６回：【Python】AWS LambdaとAWS Rekoginitionを連携させてみよう ～

こんにちは。ITエンジニアのきゅうです。
前回、AWSのLambdaとAWSのS3（ストレージサービス）を連結させるサンプルを備忘録したので、今回は当方が良く使うAWSのAIサービスの一つであり、簡単に画像解析を行うことが出来るサービス『Rekoginition』と連結したいと思います。

今回作成するシステム構成図です。

※前回の備忘録に記載した『S3』が登場しております。
　これはRekognitionに読み込ませる画像をS3などに格納しておく必要がある為です。
　ですので、今回の記事では以下の記事の設定がしてあることが前提となります。

https://qiita.com/kyuu2197/items/201d33437ba33665f840

# Amazon Rekoginitionについて
改めて、Rekognitionについて

【pyinstaller】tesseract-ocrを同封して、１つのexeファイルを作成する方法を解説！

## 概要
tesseractで文字認識するpythonプログラムを１つのexeファイル化する際につまづいたので、
その解決方法について紹介します。

## 先に結論！
pyinstaller実行後に作成されるspecファイルに、下記記述を追加します。
specファイルで再度pyinstaller実行すれば、Tesseractを含んだexeファイルが作成できます。

“`:main.spec
binaries=[(r’C:\Program Files\Tesseract-OCR’, r’tesseract’)],
datas=[(r’C:\Program Files\Tesseract-OCR\tessdata’, r’data/tessdata’)],
“`

`C:\Program Files\Tesseract-OCR`はtesseract.exeが格納されている**フォルダ**のパスです。
ご自身の環境に合わせて、パスを変更してください。

## 作ろうとしていたもの
数字の書かれた画像ファイルから、数字と座標を認識するプログラムを作成。

## 実行環境
OS：

初心者が意識するセキュリティ

## はじめに
初心者が意識するセキュリティに関しての備忘録です。
初心者です😅
間違えてる部分が多々あると思います。
もし見つけた場合、ツッコミいただけると助かります🙇

## 🦁**結論**🦁
GitHubを覚えたら「環境変数」「.env」「git ignore」を適切に使えるといい。
GitHubでは公開をするのが基本になるため「APIキー」「アカウント情報」「データ」などの情報を漏らさないために最低限のセキュリティが必要。

## 環境変数
基本どこからでもアクセスできる。
.envファイルで定義しておくことで、管理がしやすく、コード上には漏洩してはいけない情報を書かなくていい。

“`py
import os
from dotenv import load_dotenv

load_dotenv()

login_id = os.getenv(‘LOGIN_ID’)
“`

## .envファイル
ローカル環境で環境変数を管理するためのプレーンテキストファイルテンプレート。アプリケーションの実行環境に応じて読み込まれる変数を定義し

Salesforceアクセス時のクレデンシャルとトークンをAWS SecretsManagerに保持する

# 概要

タイトルで内容を示そうとした割に意味が分かりにくくて申し訳ありません。
実施したい内容は下記です。

– SalesforceへAPIアクセスしたい
– 認証方法は [OAuth2.0 クライアントログイン情報フロー](https://help.salesforce.com/s/articleView?id=sf.remoteaccess_oauth_client_credentials_flow.htm&type=5) を使用
– Pythonで実装
– [simple-salesforce](https://pypi.org/project/simple-salesforce/) というモジュールを利用
– クレデンシャルはAWS Secrets Managerのシークレットとして保存
– 取得したアクセストークンもシークレットとして保持、再利用する

# ポイント

取得したアクセストークンを保持し、再利用する仕組みとします。

### 毎回認証した場合

毎回認証する場合下記のようになります。

– ユーザーAからのリクエスト→認証を実行、トークン取得、AP

Vertex AI Pipelinesを作って動かす

# はじめに
私は業務でVertex AI Pipelinesを使ったパイプラインを作っています．日ごろ作っているパイプラインを，作って実行するまでのプロセスについて記載します．

# お題
今回は簡単なパイプラインを作ります．
行なう処理は，Big Queryにあるデータセットからデータを抽出し保存．保存したものを読み取って，printするものです．

# 全体図
Vertex AI Pipelinesにてパイプラインを実行するにあたり，以下のような構成を作っています．

– Cloud Buildにて各コンポーネントのビルドとパイプラインのコンパイル
– Artifact Registryに，ビルドしたコンポーネントのDockerイメージとパイプライン定義ファイルを保存
– ローカルPCから，パイプラインの実行を指示


#

LangChainのCallbacks

LangChainには色んなイベント発生時にログを取ったりすることができるCallbacksという機能がありますが、その使い方で四苦八苦したので記録しようと思います。

イベントの種類に関しては[こちら](https://zenn.dev/umi_mori/books/prompt-engineer/viewer/langchain_callbacks)を参考にしました。
## 前提
**使用OS** : Windows10
**使用言語** : Python 3.11.5
**AzureOpenAI** : gpt4-turbo 2024-02-15-preview
**ライブラリバージョン**:
langchain==0.1.5
openai==1.11.0

## やりたかったこと
agentとfunction callingを組み合わせたときの各イベント(agentの動作、chainの動作、toolの動作、Modelの動作等)のログを取りたかった。

## 勘違いしてたこと
agentにコールバックを設定してれば、agentの中でchainやらModelやToolやらが動いてる

QCoder #1 参加報告

## はじめに
量子プログラミングを対象とした競プロのコンテストが開催されました。今回は、その参加報告をしたいと思います。

https://www.qcoder.jp/contests/QPC001

## 量子プログラミングとは
量子プログラミングは、量子コンピューティングを行うために、量子ビットを操作する量子回路（量子ゲートの集まり）の構成を記述するプログラミングのことです。

従来のコンピュータにおけるビットは、$0,1$の2状態のみを表現出来るのに対して、量子ビットは量子状態$\ket{\psi}$を表現できます。$\ket{0} = \left(\begin{eqnarray}1 \\\ 0 \end{eqnarray} \right)$, $\ket{1} = \left(\begin{eqnarray}0 \\\ 1 \end{eqnarray} \right)$とすると、量子状態$\ket{\psi}$は以下のようにベクトルで表現することが出来ます。

$$\ket{\psi} = a \ket{0} + b \ket{1} = \left(\begin{e

ラズパイ5 2023年10月更新 bookworm ⑦ VNC

　2023年10月にリリースしたbookworm から、画面周りに大昔からUNIXで使われていたウィンドウ・マネージャが X11 から Wayland に変更されました。最近まで使っていたReal VNCが、2023年末に確認したとき、使えなくなっていました。

　執筆時、2024年2月はじめのバージョンを確認します。

“`shell
$ wayvnc –version
wayvnc: v0.8-rc0-4c70b8c (pios)
neatvnc: **0.7.1**
aml: 0.3.0
“`

　GUIで行ってもいいのですが、sshで接続しているので、

`$ sudo raspi-config`

　3のInterface Optionsを選択し、12のVNCで、enableにします。

“`shell
$ ssh-keygen -m pem -f $HOME/.config/wayvnc/rsa_key.pem -t rsa -N “”
Generating public/private rsa key pair.
/home/yoshi/.config/way

ChatGPTとPythonで学ぶ plotly と pydataset

おはこんばんちわ。今日も引き続きChatGPT先生をお迎えして、「ChatGPTとPythonで学ぶ plotly と pydataset」というテーマで雑談したいと思います。それではChatGPT先生、よろしくお願いします。

—

### **assistant**:

おはこんばんちわ！引き続き、よろしくお願いします。

先ほどのスレッドではPlotly、Python、そしてデータサイエンスに利用される各種ツールについてお話ししましたね。

今回はそれらのツールを具体的に使用して、plotlyとpydatasetを使って実際にデータをプロットしてみましょう。どのようなデータをプロットしようか、何かお考えはありますか？

—

### **user**:

それではまず、 pydataset を使ってみましょう。pydataset の colon データセットを plotly で図示するコードを書いてください。

—

### **assistant**:

まず、pydatasetとplotlyをインストールしていない場合は、以下のコマンドを実行してインストールし

AXIS APIのトークン更新

# はじめに
**[AXIS](https://axis.prioris.jp)**（アクシス）は、日本国内の気象、災害、交通といった情報をAPIで提供しています。
APIの使用に掛かる料金は**無料**（！）ですが、利用には**会員登録**が必要です。
利用者が設定した契約情報はトークンで管理されるのですが、「**発行月最終日の23時59分59秒**」という有効期限が設けられています（例：3/6発行だと3/31 23:59:59）。

そこでAXISから、現トークンの残り有効日数が**7日未満**となった場合に限り、新トークンを発行できるAPI（**Token Refresh API**）が提供されています。
ページの注意書きにもありますが、毎秒、毎分のポーリングはアカウント停止の対象となるようなので、できるだけ負荷を掛けないように新トーク

Julia言語のすごさを社内にアピールする

# はじめに
現在、業務でビッグデータの処理を行っていますが、Pythonだと処理の実行に20～30分かかってしまい、解消法としてAWSのSagemakerなどのクラウド上での実行を余儀なくされています。また、メモリの関係上、12xlarge程度のかなり大きなインスタンスを選択することになり、コストも馬鹿になりません。
そこで、Juliaを用いて処理を実行したところ、ものの2～3分で完了してしまいました。
このことを報告したところ、Juliaを業務に取り入れる価値があるのではないかという話題になり、Pluto.jlを導入することができそうです。
今回は、導入するかどうかは置いておいて、JuliaがPythonと比較してどの程度速度が出るかを検証して、実際にアピールできればと思います。

# 比較するコード
今回は簡単に以下のようなライプニッツ公式を計算するようなコードを用いた比較を行います。

“`python
import math
import time

# ライプニッツ公式計算
def calculate_leibniz_formula(n):
pi_approx =

最新のChromedriverの設定　vol.2

この記事はWebclassの更新を調べるツール開発　vol.1

https://qiita.com/Chronos/items/32c1ce23ed4dc3716e8f

の続編vol.2です。
seleniumでChromedriver使いたい方、Chromedriverのインポートエラーになる方向けの内容です。
***
# seleniumのダウンロード
　これは比較的記事も多いので簡単に。
Python自身の標準ライブラリにseleniumは含まれていないので別途ダウンロードする必要があります。王道の指令や演算（例えばprint文とか四則演算とか）は標準ライブラリだけでこなせます。

　別途ダウンロードするライブラリは、キーボードのWindows+Rで、cmd（意味はコマンド）を入力して、公式配布版のPythonを使用中の場合、`pip install selenium（ライブラリ名）`を入力してEnterでダウンロードを行うことができます。

記事執筆時点ではvar.4.18が最新版としてダウンロードされます。

# Chromedriverについてリサーチ
Chro

Webclassの更新を調べるツール開発　vol.1

# はじめに
　開発未経験の私が大学の学習管理サイトのwebclassの更新を調べるツール開発を作るという話です。書き始めたら長文になったので、記事分けました。今回の話はプログラムの話はほとんどないです。適宜読み飛ばしてください。
　拙い文章ですが、少しでも同じこと考えてる方の参考になれば嬉しいです。私の勘違い等があるかもしれないので参考程度にお願いします。

# 開発経緯
　私は学部生なのですが、大学がレポート提出やアンケートに使用しているWebClassという学習管理環境がなんとも使いにくく、課題が追加されたのかも分からない、未提出の課題のお知らせ機能もないということで、高校でGoogleのClassroomを使っていた身としては何ともWebClassは使い勝手が悪いのです。
　個人的に感じるWebClassのマイナスポイントをまとめるとこんな感じです。

* 通知機能がない
　基本ブラウザベースなので、締切通知とか課題の追加通知とかはなんも来ません。
　なぜかレポート提出をしたときだけ、メールで提出したファイルのファイル名だけを知らせるという謎仕様。

* ログ

Python だけで作る Webアプリケーション(フロントエンド編)ーはじめに

お疲れ様です。

今日からは「Python だけで作る Web アプリケーション(フロントエンド編)」について部分いたします。

1. はじめに
1. 設計方針
1. 共通部分の作成
1. ログインページ
1. 商品一覧ページ
1. 商品詳細ページ
1. カートページ
1. 注文一覧ページ
1. 注文詳細ページ
1. まとめ

今回は10の記事に分けて投稿するようにします。

今日は「はじめに」について部分いたします。

# なぜ本書を書いたのか

本書は主に以下のような方を対象にしています。

– Web アプリケーションの構築経験がない新米エンジニア
– Python はかけるが、HTML/JS/CSS が苦手な Pythonista
– 細かい UI の設定はせず、検証・デモ用の Web アプリを短期間で作りたい開発チーム

# どうやって作ったか

対象読者の悩みを解決するために、次の 3 つの要素が必要と考えました。

– Web アプリケーションの基礎知識
– 参考にしてもらえる品質のコード
– HTML/JS/CSS を一切書かず、Python だけで実装する

## W

Pythonで楽譜付き演奏動画から楽譜を作る

# はじめに
この記事は以下の記事の続きです。基本的にはこの記事のほうが良くできてるはずですが興味があれば見てやってください。
また、記事内のことで質問や、コードの改善点等がありましたらコメントを頂けると幸いです。
https://qiita.com/lionreo00/items/8882fae58f0e044244c8

# 目的
　前回記事では、動画内でTabが載せられているものの、Tabの画像データが公開されていない場合にそのデータを作るpythonコードを載せた。ただし、前回記事の最後に書いた通り、GUIがなく、また誤操作の保険も効いていなかった。
　本記事はそれを解決、改良したものになる。

# 目次

1. [注意点](#注意点)
1. [環境](#環境)
1. [実行例](#実行例)
1. [使用手順](#使用手順)
1. [コード](#コード)
1. [改善点](#改善点)
1. [最後に](#最後に)

# 注意点
– 本記事で記す方法が使えるのは動画内

Pythonで〇×ゲームのAIを一から作成する　その56　棋譜の記録と、問題のある試合経過の検証

# 目次と前回の記事

https://qiita.com/ysgeso/items/2381dd4e3283cbed49a0

https://qiita.com/ysgeso/items/c1285c93cbfbdbdc7b77

## これまでに作成したモジュール

以下のリンクから、これまでに作成したモジュールを見ることができます。

https://github.com/ysgeso/marubatsu/blob/master/056/marubatsu.py

https://github.com/ysgeso/marubatsu/blob/master/056/ai.py

## これまでに作成した AI

これまでに作成した AI の アルゴリズム は以下の通りです。

| ルール | アルゴリズム |
|:-:|:–|
| __[ルール1](https://qiita.com/ysgeso/items/bdbcd4c1ab1d8731df58#%E6%9C%80%E5%88%9D%E3%81%AB%E8%A6%8B%E3%81%A4%E3%81%8B%E3%81%A