【Python】scipy.integrateの注意点

フェルミ・ディラック関数で電子密度計算を“scipy.integrate“でかんばろうとして、
“`python
z = lambda x: 1 / (1 + np.exp((x – E_F)/(k_b * T)))
total_n, total_n_err = spi.quad(z, 0, np.inf)
“`
とすると、
“`python
0.0 0.0
“`
となり実質的なエラー。[docs](https://docs.scipy.org/doc/scipy/tutorial/integrate.html)に記述があり、どうやら計算アルゴリズム的に、積分範囲を適当に設定すると、フェルミ・ディラックみたいなほぼ0の値が裾を引くタイプの関数では想定通りの結果がでないらしい。
つまり、狙っている部分を囲むような有限積分で近似するのが方法としてよいようで。
フェルミ・ディラックの場合は$E_F$の周りに$k_b T$の何倍かを足しておいて、許容できる相対誤差まで動かしてみるのがよさそうだ。

中学英語レベルの純日本人理系大学生が、1ヶ月ちょいでAI駆使して卒論7割終わらせながらTOEIC 900超えた話

# はじめに
データサイエンティストを目指して日々勉強している、慶應大学理工学部4年生（2023.11.14時点）

取得資格、コンペ優勝経験など、リアルタイムの情報は👇👇👇をみてね

X: @A7_data←こういう者です。
プロフィールページ👇👇👇

https://mohki7.notion.site/Mototsugu-Oki-c478f842c4de48f394e2e24b58e206bb

※全て、個人の意見です。個人差もあります。

# TOEICとは
TOEICは、Test of English for International Communicationの略で、非英語圏の人々がビジネスシーンで英語を使う能力を測るためのテスト。

リスニングとリーディングの2つのセクションで構成されており、それぞれ495点満点、合計990点が最高得点。

TOEICスコアは、企業の採用や昇進、学校の卒業要件など、多くの場面で英語力の指標として利用されている。

https://www.iibc-glo

Azure AI Search(旧Cognitive Search) ベクトル クエリの python ライブラリバージョンアップ対応

# 背景
– Azure AI Search でベクトルクエリができる
– python で実行する場合、`azure-search-documents` ライブラリをバージョン指定してベータ版をインストールしていた
– ドキュメントでも記載あり
– https://learn.microsoft.com/ja-jp/azure/search/vector-search-how-to-query?tabs=python-vector-query%2Cfilter-2023-11-01
– b が取れた `11.4.0` がリリースされたので、ライブラリのバージョンアップや API の変更点に対応していく
– https://pypi.org/project/azure-search-documents/11.4.0/

# ライブラリアップデート
– ライブラリをアンインストール
– `pip uninstall azure-search-documents`
– バージョン指定してライブラリをインストール
– `pip install azur

GPSの取得データと測位原理についてのまとめ

## 前回の続き
1つ前の記事では、GPSのデータをラズパイ(Raspberry pi)で取得して保存するプログラムを作成しました。

https://qiita.com/umashikate/items/843a2c018202c9388d0c

取得したデータには
1. $GPGGA
2. $GPGLL
3. $GPGSA
4. $GPGSV
5. $GPRMC
6. $GPVTG
7. $GPZDA

がありました。

これらは、NMEA 0183と呼ばれる標準的な形式のGPSデータセンテンスで、GPSレシーバーやその他の位置情報を提供するセンサーからのデータを標準的なフォーマットで伝達するために使用されています。少し調べてみました。
 

## NMEA 0183 形式のGPSデータセンテンス

1. **$GPGGA (Global Positioning System Fix Data):**
– GPSの基本的な位置情報
– 受信機の日付、時刻、緯度、経度、修正情報などが含まれます。
 
2

PythonでAzure Blob Storage上の画像をメモリに直接読み込む

Blobに配置した画像をNotebooksで触る必要があったので備忘録として。

“`python
import os
import matplotlib.pyplot as plt
from azure.storage.blob import BlobServiceClient, BlobClient, ContainerClient, __version__
from PIL import Image
from io import BytesIO

container_name = “container”
target_image_folder = “hoge/fuga”

STORAGE_ACCOUNT_CONNECTION_STRING = “”

blob_service_client = BlobServiceClient.from_connection_string(STORAGE_ACCOUNT_CONNECTION_STRING)

with blob_service_client:
container_client = blob_service_clien

PythonでPandas DataFrameをAzure Table Storageに書き込む

PandasのDataFrameをそのままAzure Table Storageに書き込むサンプルコードです。
対象のDataFrameにTable Storageで必須となるカラム「PartitionKey」「RowKey」を含めます。これらはTable Storageの制限として2つの組み合わせで一意になる必要があります。詳しくは公式ドキュメント参照。サンプルではめんどくさいのでramdomにしていますが、検索パフォーマンスに大きく影響するので実際に利用する場合はちゃんと設計しましょう。
※テーブルはすでに作成されている前提です。

“`python
import random
import pandas as pd

from azure.cosmosdb.table.models import Entity
from azure.cosmosdb.table.tableservice import TableService

CONNECTION_STRING = “”
table_name = “”

# 適当にDataFrameを作成
cols = [“Partition

PythonでAzure Blob Storageのファイル一覧をPandas DataFrameに出力する

Blobに適当にアップロードしたファイルを一覧化し、ファイル名とか作成日時とかで集計・フィルターする必要があったので備忘録として。

“`python
import os
from concurrent.futures import ThreadPoolExecutor
import pandas as pd
from azure.storage.blob import BlobServiceClient, __version__

CONNECTION_STRING = “”
container_name = “”

# blob接続
blob_service_client = BlobServiceClient.from_connection_string(CONNECTION_STRING)
container_client = blob_service_client.get_container_client(container_name)

# df作成
cols = [“file_name”, “folder”, “basename”, “creation_time”, “

Azure Custom Visionのプロジェクトをコピーする

Custom Visionに作成したプロジェクトをコピーする方法です。
REST APIを持ってるのでcurlでもほかの言語でも行けますが

“`python
import requests
import json

# Exports param
export_endpoint = “”
export_project_id = “”
export_training_key = “”

export_url = f”{export_endpoint}/customvision/v3.3/Training/projects/{export_project_id}/export”

export_headers = {
“Training-Key”: export_training_key
}

response = requests.get(export_url, headers=export_headers)

res_body = json.loads(response.text)
token = res_body[“token”]
print(token)

# Impo

Azure Custom Visionにアップロードした教師データをダウンロードしなおす

Custom Visionにアップロード済みの教師データをタグごとにフォルダ分けしてダウンロードするサンプルです。

“`python
import os
import requests
import json
import collections
from tqdm.notebook import tqdm as tqdm

headers = {
“Training-Key”: “”
}

params = {
“take”: “256”,
“skip”: “256”
}

project_id = “”
endpoint = “”
url = f”https://{endpoint}/customvision/v3.0/training/projects/{project_id}/images/tagged”

r = requests.get(url, params=params, headers=headers)
data = json.loads(r.text)

# タグ名の一覧取得
tag_name_list = []
for item in

で、数学的帰納法って結局何に使うん？（´｡｀)　⇒　例えば、ヴァンデルモンドのたたみ込みの証明とか　⇒「非」復元抽出の公式の導出

普段より、自分のプログラミング等に関する質問に答えて下さっている皆様ありがとうございます。m( _ _)m　よろしければ統計検定の学習等にご利用ください。マークダウンは雑ですみません。これから勉強します。 m( _ _)m

「ヴァンデルモンドのたたみ込み」の証明（のメイン部分）※省いてあるところはチャートとかの定型文でいけます。

https://drive.google.com/drive/u/0/folders/12X9Vzw4cETT1RiBv_vPfYLLg5jNkXSQ4

Githubリンクバージョン（※中身は同じです）

https://github.com/thinking-weed/analysis-statics-memo/tree/main/Vandermonde’s_convolution

　最近たまたま以前計算していたノートを見つけました。（前職で、もしかしたら使うかもとおそらく休みとかに計算したものの、使う気配全くなく存在すら忘れていたノート）
　この謎公式が何の役に立つのかは、また時間を見てQiita化しますが、数学的帰納法はこういうパター

Streamlit in SnowflakeとACCESS_HISTORYビューでリネージュ グラフを作成してみた

実はSnowflakeではCTASなどでテーブルを更新すると、ACCESS_HISTORYビューにカラムリネージュの情報が記録されています。
この記事ではStreamlit in SnowflakeとACCESS_HISTORYビューでリネージュ グラフを作成してみます。

本記事の内容は2023年11月16日時点の情報に基づきます。

## ACCESS_HISTORYビューのカラムリネージュ

### 概要

ACCOUNT_USAGEスキーマのACCESS_HISTORYビューにはオブジェクトへの操作記録が保存されています。
さらにテーブルを更新したとき、参照先テーブルのカラムが更新先テーブルのどのカラムに反映されているか(カラムリネージュ)についても記録されています。

カラムリネージュが記録される操作は以下のとおりです。

> CREATE TABLE … AS SELECT （CTAS）
CREATE TABLE … CLONE
INSERT … SELECT …
MERGE
UPDATE

https://docs.snowflake.com/ja/sql

Pandasで忘れがちな処理メモ

加筆修正していきます。
最近Pandas使ってませんが・・・

### Seriesから値を取り出す
column1がfooに一致したcolumn2の値を取り出す。

“`python
df.query(“column1 = ‘foo'”)[“column2″].item()
“`

### GroupByして上位n件を抽出
column1に対してGroubByし、column2の値が上位n件であるレコードのみ抽出する。

“`python
sorted_df = df.sort_values(by=”column2”, ascending=False) # 降順
groupby_df = sorted_df.groupby(“column1”).head(n)
“`

DVCの指南書

[公式ドキュメント](dvc.org/doc)

## 一番簡単な使い方

– `dvc.yaml`を編集
– `dvc repro`で再生成
– `dvc push`でリモートにアップロード
– `dvc pull`でリモートのダウンロード

## よく使う順

– repro <プロセス名>
– dvc.yamlに登録したデータ生成プロセスを実行する。ただし、生成プロセスが依存するソースのハッシュに変化がなければ無視される
– `–dry`で実行はせず、何が実行される予定かの確認だけできる。まずはこれを付けて使うと便利(dvc statusも似た感じ)
– push
– リモートストレージにdvcのキャッシュを送る。バックアップのほか、他ユーザが自分の生成したデータをダウンロードできるようになる
– pull
– リモートストレージから他ユーザーがpushした結果を取得する
– dag
– プロセスの可視化。見づらい
– checkout
– 現在のgit commitの状態で生成されていたデータに更新する
– add
–

Python３ではじめるシステムトレード：信用リスク入門

20231116 6:55
# 信用リスクモデル

住宅ローンの信用リスクを評価するためには、借り手がデフォルトする可能性を予測するモデルなどが用いられます。以下に、住宅ローンの信用リスクモデリングに使用される主なモデルをいくつか紹介します。

1. **ロジスティック回帰モデル**:
ロジスティック回帰は貸し出しの結果をデフォルトする/しないの２値として扱います。各ローンの特性や借り手の属性を説明変数として使用し、デフォルトの確率を推定します。

2. **プロビットモデル**:
プロビットモデルも貸し出しの結果を二値として扱いますが、誤差項が正規分布に従うという仮定に基づいています。ロジスティック回帰と同様に、デフォルトの確率を推定します。

3. **トービットモデル**:
連続変数の一部が観測されない（例えば、返済額が特定の閾値以下の場合にゼロとして記録される）場合に適用されます。デフォルトの確率だけでなく、損失の大きさについても同時に推定することができます。

4. **マートンモデル**:
企業のデフォルトリスクをモデル化するために開発されましたが、

modの逆数

[picoCTF][Cryptography][basic-mod2]

# Writeup
* またしても解法が書いてあるので、翻訳ソフトで翻訳。
DeepLって分かりやすい日本語に変換してくれます。

* またしてもプログラムをBingChatに作ってもらった。
ただBingChatのプログラムは、そのままだと回答にならなかった。
~~~:python
# 数値と文字セットを定義
numbers = [432, 331, 19

長期インターンでデータサイエンスの世界へ！

# はじめに
こんにちは！
僕は、研究を行いながらデータサイエンスの**長期インターンシップ**を行なう大学院生です。

学部時代から長期インターンシップを開始し、これまで4社経験してきました。
この経験から、プログラミングの学習を始めたばかりの人や、長期インターンを行う勇気が出ない人に、学習サポートや合格サポートなどを行わせてもらっています！

僕自身、プログラミングの習得や長期インターン探しに苦労したので、その経験をお伝えすることで、より多くの人が挫折せずデータサイエンティストになるまで成長して欲しいです！

以下でサポートを行なっているのでご興味ある方はご連絡ください！学生・社会人問わずサポートいたします！

X(Twitter)

Tweets by DS_school_1

ココナラ

https://coconala.com/services/3044873

# 長期インターンシップとは
インターンシップと聞くと多くの方は、就職活動の一環である「サマーインターン」や「冬インターン」を思い浮かべる方が多いのではないでしょうか？
これらのインターンは短期イ

ChatGPTとLSTMで作る 和歌生成AI

皆さんこんにちは。今日も引き続きChatGPT先生をお迎えして、「ChatGPTとLSTMで作る和歌生成AI」というテーマで雑談したいと思います。

本日用いる和歌のデータは、国際日本文化研究センターで公開されている [「和歌データベース」](https://www.nichibun.ac.jp/ja/db/category/waka/) を利用します。

それではChatGPT先生、よろしくお願いします。

—

### **assistant**:

はじめまして、ChatGPTです。和歌を生成するLSTMモデルについてお話ししますね。

まず基本的なことから説明します。

LSTMとは、Long Short-Term Memoryの略で、時系列データに対する深層学習の一つです。LSTMは、”ゲート”という概念を導入することで、長い時間差のある情報を取り扱うことができるという特性を持っています。

和歌作りをPythonで行う場合、LSTMを使って文字列を予測するというアプローチを取ることが多いです。

基本的な流れは以下のようになります。

1. まず大量の和歌データを用

#### djangoでイメージを表示するのにメッチャ苦労した件

#### djangoでイメージを表示するのにメッチャ苦労した件

この前linuxやwslで動かしていたdjangoの静的な画像ファイルを表示するのにものすごく苦労しました。

原因は{% get_static_prefix %}tcgcreatorとすべきところを{% get_static_prefix %}/tcgcreatorとしていました。

こんな単純なところでハマった私が恥ずかしいです

【業務効率化】pythonのコードを社内のみんなに使ってもらう方法

# 目次
* 背景
* 目的
* 結論
* 内容
* まとめ
* 所感

# 背景
pythonを頑張って勉強して[業務効率化できるコード](https://qiita.com/r-shiomoto/items/a54fca6463fa128ac5ef)を作成しました。これを社内の人に使ってもらおうと思っても、みんなのPCには当然pythonはインストールされていません。その結果、せっかく作成したコードは社内では利用できず、自己満足で終わってしまうことがありました。

# 目的
作成したコードを社内のみんなに使ってもらう方法を調査すること。

# 結論
1位：USBメモリにpython環境を作成する
2位：exe化して配布する
3位：Webアプリを作成する

# 内容
作成したコードを社内のみんなに使ってもらう方法を、完全主観の個人的ランキング形式で紹介します。

## 1位：USBメモリにpython環境を作成する
USBメモリ内にpythonをダウンロードして、その中でコードを実行してもらう方法です。使い方としては、USBメモリをPCに挿入して、その中のバッチファイルをクリックする

【Python】filter関数で第一引数に None / 常にTrueを返す関数 /常にFalseを返す関数 を指定してみる

# 概要
Pythonの`filter`関数で、以下のケースではどのような結果になるのだろう？と思ったので実施してみました。

– 第一引数(`function`)に`None`を指定した場合
– 第一引数(`function`)が常に`True`を返す場合
– 第一引数(`function`)が常に`False`を返す場合

## サンプルコード

“`py
def is_even(n):
return n % 2 == 0

numbers = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
even_numbers = list(filter(is_even, numbers))
print(even_numbers)

# 出力結果: [2, 4, 6, 8, 10]
“`

`filter()`関数は、第一引数に指定した関数（条件）に合致する要素を残します。
なので、上記の場合、偶数の要素のみが出力されます。

第一引数に指定したものでフィルターしてくれる、というわけです。
しかし、この考えだと少し違うことがわかりました。
正確にいうと、`is_