Python関連のことを調べてみた

xlwings,pybind11を用いてC++,Python,Excel連携してデバッグする

# はじめに
pybind11とは、計算処理が速いC++とPythonを連携するためのライブラリ、xlwingsとは、Pythonと元データの書き込みに使われやすいExcelを連携するためのライブラリである。
これらのライブラリをもとに簡単な関数を作成し、混合デバッグをしてみよう。


# 1 環境構築
## 1.1 ソフトウェアインストール
エディタ：VSCode ：PythonやC++を動作させるためのエディタ
Python:3.11
CMake:3.19.4：msvcを動作させるためのもの[ https://cmake.org/download/ ]
Visual Studio Build Tools 2019 Release：C++ソースをコンパイル(機械語に変更)するためのもの(以下msvcとよぶ)
pybind11:2.11.1：

Databricks へ Azure SQL Database から連携する際の DELETE されたレコードの同期方法：Azure SQL Database の テンポラルテーブル機能の活用

【Python】モデルアウトプットのトラック・ベストトラック・摩擦係数の差を描くプログラム

# 1. 必要なデータ
* モデルアウトプットのトラックデータ（本記事ではcsv）
* モデルアウトプット（本記事ではscaleのnetcdfファイル）

# 2.コード

“`: python
##########################################################################
#
# This python program is makeing figure of Shade; Cd, Contour; MSLP by SCALE netcdf output.
#
# Hiroaki YOSHIOKA, yoshioka-hiroaki-sn@ynu.ac.jp
# Research fellow at Yokohama National University, Typhoon science and technology Research Center
#
# –Released History–
# Jan,12,2024 – 1st released ; Making distributi

呪文を唱えよう

昨年９月に10年ほどお世話になったシティホテルのお仕事を辞め（それなりに楽しかった）、以前から興味があったIT業界に転職しようと思い、昨年の10月から流行りのPythonを学べる職業訓練に通い始めたが、その訓練校がなんと３週間でまさかの廃業…。　今年の２月からPHPやjsを学べる別の訓練校に通っている（eラーニング）。

まず言いたい。ご存知の通り、ネット上は嘘で溢れている。「〇〇か月であなたも未経験からITエンジニア！」的なのはとてもじゃないけど現実味がない。それと併せて、「定年35歳説」は本当？だとしたら私（現38才）はもうアウトやん。

ある程度人間をしてたら、世間の些細な嘘には大体気付けるスキルが身に付く。特に私と同じ就職氷河期世代はね。その私が言う。ITエンジニアは、頑張ればなれる！…かもしれない。

昨年の10月から今年の2月まではPythonをYouTubeを観ながら独学していた。基礎文法習得までは誰でもできる。スクレイピングも構造自体は単純だ。いくつか簡単なアプリも作った。でも、その程度じゃ就職には繋がらない。(前提として、学習コストを抑える為私は有料教材に手を出してい

Google ColabでTimesFMを動かして予測してみた

## 概要

最近の記事を見ると、Zero-Shotで時系列予測ができるTimesFMと呼ばれるものが公開されていました。

https://research.google/blog/a-decoder-only-foundation-model-for-time-series-forecasting/

Githubのリポジトリはこちら：

https://github.com/google-research/timesfm

時系列予測というとベイズなどを用いて泥臭いことをやったりしないとですが、こちらはtransformerのデコーダ部分のみを用いてGoogle TrendsやWikipedia Pageviewなどの膨大なデータ(100 billion time point)で学習を実施したものを公開されています。パラメータも200Mで、GPT-3やLLama-2などと比較すると軽量なモデルであり、チューニングすることなく高度な予測をすることが可能であると書かれています。

時系列予測と言われるとベイズなどが浮かんできますが、面倒臭いのでサクッと予測できるのは比較対象としても悪

pythonでelasticsearchのindexの削除

“`python
# %%
from elasticsearch import Elasticsearch

username = ‘admin’
passwrod = ‘‘
host = ‘https://%s:%s@:‘ % (username, passwrod)
print(host)
client = Elasticsearch(hosts=host, ca_certs=’INPUT YOUR CARTIFICATE FILE PATH’)
# %%
client.cat.indices(index=’*’, h=’index’).splitlines()
# %%
client.indices.delete(index=’test2′)
# %%
client.close()
“`

Elasticsearch、すごい使いやすいかも…

画像処理におけるヒストグラム均一化を理解する

# はじめに
※今回のサンプル画像として、[乃木坂46の西野七瀬さん](https://www.amazon.co.jp/%E8%A5%BF%E9%87%8E%E4%B8%83%E7%80%AC1st%E3%83%95%E3%82%A9%E3%83%88%E3%83%96%E3%83%83%E3%82%AF%E3%80%8E%E3%82%8F%E3%81%9F%E3%81%97%E3%81%AE%E3%81%93%E3%81%A8%E3%80%8F-%E8%A5%BF%E9%87%8E-%E4%B8%83%E7%80%AC/dp/4087808378)の写真を使用します。元がいい写真なので、今回の処理は蛇足です。
　画像の画素値に偏りがあると、輪郭が見にくいなどの問題が生じます。

elasticsearchでハイブリッド検索

https://python.langchain.com/v0.1/docs/integrations/vectorstores/elasticsearch/
“`python
# %%
from langchain_community.document_loaders.html import UnstructuredHTMLLoader

loader = UnstructuredHTMLLoader(file_path=’/home/onoyu1012/workspace/elasticsearch/お好み焼き – Wikipedia.html’)
data = loader.load()
print(data)
# %%
from langchain_text_splitters.character import RecursiveCharacterTextSplitter

text_splitter = RecursiveCharacterTextSplitter(chunk_size=512, chunk_overlap=0)
documents = text_split

SUUMOにて割安賃料物件を見つけよう_データ基盤構築編

# 概要
SUUMOにて割安な賃料物件を探しました。

#### 調査の流れ
調査は以下の3つに分割しました。
1. データ基盤構築編(今回の記事)
2. モデル作成編
3. アプリ作成編

# データ基盤構築
以下のアーキテクチャ図の流れでデータ基盤を構築しました。


#### 1. Event Bridge
2つのEvent Bridgeのルールを作成しました。
1つ目はEC2を起動ます。その5分後に2つ目のルールによりEC2内に保存されている

座標変換

https://programming-surgeon.com/script/euler-angle/

https://www.google.com/search?q=%E3%83%AD%E3%83%BC%E3%82%AB%E3%83%AB%E5%BA%A7%E6%A8%99%E5%9E%8B%E3%80%80%E5%9B%9E%E8%BB%A2%E8%A1%8C%E5%88%97%E3%80%80%E3%82%B0%E3%83%AD%E3%83%BC%E3%83%90%E3%83%AB%E5%BA%A7%E6%A8%99%E7%B3%BB%E3%80%80&sca_esv=b2e9466f8d6921f5&rlz=1C5CHFA_enJP1083JP1085&sxsrf=ADLYWIJffH-VuYd4v0TWU0fgAgK_-TaKsA%3A1715696082395&ei=0nFDZqLiF_Kzvr0PkbuB4A4&ved=0ahUKEwiik6L8qY2GAxXyma8BHZFdAOwQ4dUDCBA&uact=5&oq=%E3%83%AD%E3%83%BC%E3%82

Pythonでお祝儀計算プログラムを作る

# 背景

人間の人生で、きょうだいの結婚ほどめでたいことはない。
ということで、お祝儀を包む気満々なのだが、きょうだいの結婚は人生で初めてであるため、お祝儀の計算がわからない。

早速ググったところ…

https://m.niwaka.com/ksm/radio/wedding/gift-money/price/08/#:~:text=結婚式を挙げない場合でも、兄弟姉妹へ,決めると安心ですね%E3%80%82

>
>まとめ
>
>新郎新婦が兄弟姉妹でも、お祝いの気持ちとしてご祝儀は必要なんですね。
>金額の相場は、だいたい5万円。
>ただし、年齢や地域、新郎新婦との関係性や立場によっても変わります。
>年代が高い場合や、新郎新婦が弟・妹の場合は、相場より少し高めの金額を包むのが一般的。
>逆に若い場合、新郎新婦が兄・姉の場合は、相場より少なめでもOKとされています。
>包む側が未婚の場合は、相場通りの5万円が基本。
>既婚で夫婦連名の場合は、7万円から10万円程度が相場になります。
>子供が一緒なら、年齢に応じて子供の食事代もプラスしましょう。
>自分が学生だったり、親と同居の場

elasticsearchでキーワード検索

https://python.langchain.com/v0.1/docs/integrations/vectorstores/elasticsearch/
“`python
# %%
from langchain_community.document_loaders.html import UnstructuredHTMLLoader

loader = UnstructuredHTMLLoader(file_path=’/home/onoyu1012/workspace/elasticsearch/お好み焼き – Wikipedia.html’)
data = loader.load()
print(data)
# %%
from langchain_text_splitters.character import RecursiveCharacterTextSplitter

text_splitter = RecursiveCharacterTextSplitter(chunk_size=512, chunk_overlap=0)
documents = text_split

elasticsearchでベクトル検索

# Pythonの各種パッケージのインストール

“`bash
pip install langchain
pip install unstructured
pip install sentence-transformers
pip install langchain-elasticsearch
“`

# Wikipediaのお好み焼きに関するHTMLファイルの読み込み＆分割

以下を保存＆作業ディレクトリへ移動。
https://ja.wikipedia.org/wiki/%E3%81%8A%E5%A5%BD%E3%81%BF%E7%84%BC%E3%81%8D

“`python
# %%
from langchain_community.document_loaders.html import UnstructuredHTMLLoader

loader = UnstructuredHTMLLoader(file_path=’/home/onoyu1012/workspace/elasticsearch/お好み焼き – Wikipedia.html’)
data = lo

【kaggle】住宅価格予測コンペにチャレンジ

# 1.今回の分析コンペの概要
「House Prices: Advanced Regression Techniques」はアメリカ合州国アイオワ州エイムズ市の戸建て住宅の価格を79個の変数から予測する、テーブルデータの回帰予測問題です。

https://www.kaggle.com/c/house-prices-advanced-regression-techniques

学習データ ： 1460件
予測データ ： 1459件

ちなみにアイオワ州エイムズ市はこのあたり。
自然豊かでトウモロコシや畜産が盛んな地域のようです。


以下引用：

https://www.google.com/maps/place/%E3%82%A2%E3%83%A1%E3%83%AA%E3%82%AB%E5%90%88%E8%A1%86%E5%9B%B

【Python】点群から2本の近似直線を求め交点を求めるプログラム

# はじめに

とある目的で、二組の点群の任意区間の近似直線の交点の座標値が欲しくなりました。
言葉で言ってもわからないと思うので出来上がったものを見せると、以下のようなものです。


赤色が点群で、青色が指定した区間の近似直線、緑色が日本の近似直線の交点を表しています。

コードはBingのcopilotにベースを書いてもらいました。
コードは以下で公開しています。

https://github.com/yuki-2000/point_cloud2bilinear

# コード解説

基本的にはmatplotlibで表示しており、クリックした座標を使用して処理をしています。

## クリックの動作

本コードでは、クリックしたx座標を`selected_x`という変数に2回保存し、その間の点を使用して最小二乗法で直線を求めています。

さっそくGradioでGPT-4oのAPIを使って画像を説明させるアプリを作ってみた

## はじめに

　もうすでにたくさんの人が使っているようですが、本日公開されたGPT-4oのAPI(OpenAI)を使って画像を説明させるアプリを作ってみました。

## 料金

　APIにかかる料金はこんな感じです。(2024/5/14現在)


GPT-4Turboより安価で高速、2023年10月までの知識を持っているようです。

## 準備

opencv-python, gradio, openaiあたりをpipでinstallしておいてください。

## ソースコード

　ソースコードは以下になります。secret.jsonに取得したAPIキーを入れてください。OSの環境変数から読み込みたい人は適宜ソースコードを修正してください。

“`secret.json
{
“OPENAI_API_KEY”: “XXXX

[ReviewAI 使用例] ヤンピョン ヘジャンク [新大久保 韓国料理店]

# はじめに

レビュー分析AIサービスの ReviewAI (レビューアイ) を開発しています。
本記事ではレビュー分析の例として、新大久保の韓国料理の人気店を取り上げていきます！
[人気店の記事をまとめているページはこちらです。](https://qiita.com/RetegyLink/items/3d94852bf25a724a82cc)

今回は、ヤンピョン ヘジャンク の食べログに集まっているレビューを分析します。

## ヤンピョン ヘジャンク

> 本場韓国の味を、新大久保で気軽に堪能！

[食べログ](https://tabelog.com/tokyo/A1304/A130401/13030759/)

## ReviewAI (レビューアイ)

弊社 RetegyLink が開発中のレビュー分析 AI です。
https://reviewai.next-seed.work/
試作版を公開中で、現在は
– [食べログ](https://tabelog.com/)
– [じゃらん](https://www.jalan.net/)
のレビューを分析できます。

# レビ

ABC352備忘録【C~E】

## C – Standing On The Shoulders
### 問題

https://atcoder.jp/contests/abc352/tasks/abc352_c

### 考えたこと
どの並び順でも一番上の頭以外の高さは不変です。なので頭の高さが一番大きい人を上に配置すればよいです。
コードはaを足していく過程でbを引いたり足したりすることで入れ替えてます。

### ACコード
“`c.py
n = int(input())

big_a, big_b = map(int, input().split())
ans = big_b
for i in range(n – 1):
a, b = map(int, input().split())
if b – a > big_b – big_a:
# いままで一番大きい頭だったbig_bをなかったことにし、big_aのほうを足す
ans -= big_b
ans += big_a
# 新しいbを足す
ans += b

相関係数(correlation coefficient)

## 相関係数 (correlation coefficient)
・共分散を標準化したのが相関係数
・共分散のとりうる値(最小値~最大値)を計算し、-1~1の範囲にすることで、2変数間の相関の強さを比較することができる。

では共分散の最小値と最大値をどう考えるのか見ていきましょう。

共分散が最大最小となるときは、下記のような場合だというのはなんとなくイメージできるかと思います。
相関関係が最大ということは、片方の値が決まれば必然的にもう片方の値が決まるということです。このときデータは一直線で結ぶことができ、以下のようになったとします。これは正の相関があるといえます。このとき、共分散は最大になります。

![直線.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.

AssertionError: numpy array are differentが出たが設定していない数値が差分として表示された

## はじめに
PySparkを使用してデータ集計した結果をMySQLにinsertするコードの一部を改修後、テストパターンを追加して動かしたのですが、テストが通らず、原因を突き止めるのに苦戦したので備忘メモとして残します。

## やりたかったこと
PySparkを使用してデータ集計した結果をMySQLにinsertするコードのテストコードを実装したい

## 結論
原因は時刻の不一致で、時刻がUNIXタイムスタンプで表示されていた。

## 動作環境
pyspark==3.3.0
numpy==1.21.3
pandas==1.3.5
PyYAML==6.0.1
PyMySQL==1.0.2

## 出力されたエラー
データ集計した結果をMySQLにinsertするコードの一部を改修後、テストパターンを追加して動かしたのですが、以下のようにAssertionErrorが出力されました。
以下の出力エラーとinput、expectedはサンプルです。
“`console
AssertionError: numpy array are different

numpy array v