- 1. nltk.downloadでSSL認証エラーが発生して速攻解決できた話（Mac）
- 2. 光信号の伝送シミュレーション
- 3. ABC346(Atcoder Beginner Contest)のA~E(A,B,C,D,E)問題をPythonで解説(復習)
- 4. Databricks にて Amazon が開発している大規模なデータ品質をテスト可能な PyDeequ を動かしてみた
- 5. 時系列モデルを勉強していくぜ！～データの前処理編～（Signate引っ越し需要予測17位解法）
- 6. 文字コードに悩んでどうにかしたお話
- 7. LIMEによる機械学習モデルの局所説明
- 8. watsonx.aiで日本語文からの固有表現抽出(Python編)
- 9. VC++/MASMでx64 DLLを作る
- 10. OpenCV(cv2)のインストール方法
- 11. Stability AIがベータリリースしたSearch and Replace APIで黒髪女性の画像を茶髪にしたり金髪にしたり表情や服を変えてみたりした
- 12. 20240324 Neovimのcheckhealthのエラー修正、RR-automate進めた
- 13. ジョジョの奇妙な Swallow-7b-instruct-hf
- 14. 軌跡とプログラミング
- 15. LNMarketsの基本メソッド備忘録
- 16. Pythonで〇×ゲームのAIを一から作成する その66 枠線と文字列によるマークの描画
- 17. Python で物体認識AIのYOLOv8を試してみた！〜応用編〜
- 18. ﾏﾂﾔ風に気温に対して感想を述べるbotを作ってmisskeyに生やした
- 19. PythonでExcelグラフを出力したのに最後のデータが反映されない問題を解決しました
- 20. 滑らかなNRZ信号の作成方法
nltk.downloadでSSL認証エラーが発生して速攻解決できた話（Mac）
## 起きたエラー
以下のライブラをインポートする時にエラーが発生しました。
“`python:ライブラリのインポート
import nltk
nltk.download(‘punkt’)
from nltk.tokenize import word_tokenize
“`“`:エラー
[nltk_data] Error loading punkt:
“`## 解決方法
アプリケーションフォルダ内のPython3.X内にある↓をダブルクリックすると解決します。
 #波長1.55[μm]のとき
ff = np.zeros(N, dtype=np.complex128)###角周波数設定###
omega1=np.linspace(0.0,np.pi/dt,N/2.0,endpoint=False)
omega2=np.linspace(-np.pi/dt,0.0,N/2.0,endpoint=False)
omega=np.hstack((omega1,omega2))####送信–>受信波形####
##########分散##########
ABC346(Atcoder Beginner Contest)のA~E(A,B,C,D,E)問題をPythonで解説(復習)
# ABC346(Atcoder Beginner Contest)のA~E(A,B,C,D,E)問題をPythonで解説(復習)
# A問題
– `A_(i)`と`A_(i+1)`の間の掛け算を`N-1`回行う。
“`A.py
“””
<方針>
– `A_(i)`と`A_(i+1)`の間の掛け算を`N-1`回行う。
“””
# 標準入力を受け取り
N = int(input())
A = list(map(int, input().split()))# 答えを格納するリスト
ans = []# N-1回ループする。
for i in range(N-1):
# 掛け算の結果を格納する。
ans.append(A[i]*A[i+1])# リストを空白区切りで出力する。
print(*ans)
“`# B問題
– 鍵盤は`wbwbwwbwbwbw`の周期でサイクルしている。これは、`w`が`7`個、`b`が`5`個の周期である。
– `W`と`B`の両方の値が、上述の鍵盤のサイクルの値よりも大きいときは、`W`と`B`を`7`と`5`ずつ減らしても問題な
Databricks にて Amazon が開発している大規模なデータ品質をテスト可能な PyDeequ を動かしてみた
## 概要
Databricks にて Amazon が開発している PyDeequ の動作確認を実施しましたので共有します。PyDeequ (python-deequ)の README に記載されているクイックスタートを Databricks の仕様に修正したコードで実行しました。
引用元：[awslabs/python-deequ: Python API for Deequ (github.com)](https://github.com/awslabs/python-deequ)
## クイックスタート on Databricks
### PyDeequ に対応した Spark バージョンのクラスター（`12.2 LTS (includes Apache Spark 3.3.2, Scala 2.12)`）にて deequ (`co
時系列モデルを勉強していくぜ！～データの前処理編～（Signate引っ越し需要予測17位解法）
# はじめに
時系列モデルってみなさん得意ですか？自分は食わず嫌いで避けてきましたが、（自称）データサイエンティストとしてレベルアップするために時系列データの勉強をしています。
勉強した成果をアウトプットとして記事にしておきます。全５回（予定）に渡ってお送りしますので、よろしければお付き合いください。[第１回（データの前処理）](https://qiita.com/MAsa_min/items/d76f7ce005ee6998c39d)
第２回（LightGBMモデルの構築）
第３回（Pycaretによるアンサンブルモデルの構築）
第４回（Prophetによる時系列モデルの構築）
第５回（アンサンブル学習）# 題材
SignateのSOTA(State-of-the-Art) Challengeから「アップル 引越し需要予測」を選びました。
テーマとしては分かりやすいですし、予想も立てやすい（3～4月が繁忙期だろう等）からです。
また、データも訓練データとテストデータのみなので、とっつきやすいと思います。https://signate.jp/competitions/269
文字コードに悩んでどうにかしたお話
# はじめに
文字コードってさ、難しいよね
で、いろいろググっても概ね「頑張れ！」と言われているだけのような気がするので力技でどうにかしたお話をしようと思います。# きっかけ
私、友人が主催している自転車の大会の運営のお手伝いをしてます。
毎月開催というふざけた開催頻度なんですが、ほぼほぼ毎月お手伝い。その中で課題が上がってきたのが、外注している**「大会エントリの情報整理が大変」**だということ、そして個人情報を含むので**外部に出せない**のだと。
で、**「プログラムでどうにかしてよ！」**とのご依頼。マクロでできるじゃん！
その通り、でもこの友人はエクセルを持っていない！wそしてpandasでプログラムを書いてみたら、外注先から送られてくるcsvファイルの文字コードがちょくちょく変わるんですよ。業者の問題なのか、この友人の問題なのか・・・。
# やりたいこと
csvを読み込む。
文字コードは不明（ちょくちょく変わる。）これだけ
# 環境
2020 MacBook Air M1
pythonは3.8.10
pandasは2.0.1# 考えたり、トライした
LIMEによる機械学習モデルの局所説明
# はじめに
こんにちは、@sasshi_iです。本日はXAIの手法の1つであるLIME(Local Interpretable Model-agnostic Explanations)について説明したいと思います。
LIMEは**局所説明**の手法です。
LIMEはある入力に対して機械学習モデルの出力に寄与した特徴量を算出します。
局所説明って何？という方はこちらの記事をご覧ください。https://qiita.com/sasshi_i/items/400b7672d8b80bfc3a28
それでは、LIMEがどのように機械学習モデルを説明するのかを説明していきます。
# LIMEとは？
LIMEは、**複雑な機械学習モデルを説明するための解釈可能な機械学習モデルを作ります**。LIMEがどのように機械学習モデルを説明しているかみていきましょう。
## どのようにして解釈可能な機械学習モデルを得るのか
LIMEは、複雑な識別境界や内部ロジックを持つ機械学習モデルであっても、説明対象の近傍に限れば、単純な(解釈可能な)機械学習モデルで近似できると仮定しています。
watsonx.aiで日本語文からの固有表現抽出(Python編)
watsonx.aiで、日本語文からの固有表現抽出(Entity Extraction)を行います。LLMにはIBMのgranite-8b-japaneseを使ってみます。[プロンプト・ラボでやったこと](https://qiita.com/kawada2017/items/77fbaec5bc4cf3995800)のPython版になります。[プロジェクトの準備](https://qiita.com/kawada2017/items/77fbaec5bc4cf3995800#%E3%83%97%E3%83%AD%E3%82%B8%E3%82%A7%E3%82%AF%E3%83%88%E3%81%AE%E6%BA%96%E5%82%99)までは同じ手順になりますので、プロジェクトを作成しておいてください。
具体的には以下のような保険請求文書から、車両タイプと車種、日付、時間帯と場所の情報をJSONで抽出して、PadasのDataFrameにしてみます。
~~~md:Examples (Input:)
保険請求文書:
ハイブリッドセダン型車両、トヨタプリウス、2024年2月15日
VC++/MASMでx64 DLLを作る
# 環境
Windows 11 Pro (x64)
Visual Studio Community 2022Visual Studio 2022
x64 Native Tools Command Prompt for VS 2022# 作成
## C++
“`fig_c.cpp
/*
cl /LD /MD fig_c.cpp
*/
#define DLL_EXPORT extern “C” __declspec(dllexport)DLL_EXPORT int hoge(int a, int b)
{
return a * b;
}
“`## MASM64
“`fig_a.asm
comment *
ml64 /c /Fl fig_a.asm
link /dll /entry:DllMain fig_a
*
.code
DllMain proc
mov eax, 1
ret
DllMain endphoge proc export
imul ecx, edx
mov eax, ecx
ret
hoge endp
end
“`# 確認
OpenCV(cv2)のインストール方法
## はじめる前にOpenCVとは?
OpenCV（Open Source Computer Vision Library）は、コンピュータビジョンや画像処理のためのオープンソースのライブラリです。主にC++で書かれていますが、Pythonなど他の言語でも使用することができます。OpenCVは、画像や動画から情報を抽出し、処理するための豊富な機能を提供します。これには、画像の読み込み、表示、保存から始まり、画像処理、特徴検出、物体追跡、機械学習モデルの統合などが含まれます。
一般的な利用例としては、顔検出、物体検出、画像のフィルタリングや変換、画像の特徴抽出、カメラキャリブレーション、動画の処理などがあります。
## OpenCVを使うにはPythonのインストールが必要
〇前提条件
Pythonの開発環境があることまだPythonの開発環境がない方は以下の記事で、簡単に導入できます↓
https://qiita.com/umashikate/items/a612378f8eeb50d8dcfe
OpenCVをインストールする前に、Pythonのバージョンを確認しまし
Stability AIがベータリリースしたSearch and Replace APIで黒髪女性の画像を茶髪にしたり金髪にしたり表情や服を変えてみたりした
[Supership](https://supership.jp/)の名畑です。[キンプリが再始動](https://www.famitsu.com/news/202403/22337926.html)とのことで、プリズムの煌めきで満ちた夏になりそうです。
## はじめに
画像生成モデル[Stable Diffusion](https://ja.stability.ai/stable-diffusion)の展開元である[Stability AI](https://ja.stability.ai/)は、様々な[開発者向けAPI](https://platform.stability.ai/docs/api-reference)も同様に展開しています。
そのうちの一つとして、まだ**Beta**ではあるのですが**Search and Replace**というものが今月リリースされました。
> The Search and Replace service is a specific version of inpainting that does not require a mask
20240324 Neovimのcheckhealthのエラー修正、RR-automate進めた
### Neovimの気になるところ
#### tree-sitterがエラーになるので対応
“`
nvim-treesitter: require(“nvim-treesitter.health”).check()Installation ~
– WARNING `tree-sitter` executable not found (parser generator, only needed for :TSInstallFromGrammar, not required for :TSInstall)
– OK `node` found v21.6.2 (only needed for :TSInstallFromGrammar)
– OK `git` executable found.
– ERROR `cc` executable not found.
– ADVICE:
– Check that any of { vim.NIL, “cc”, “gcc”, “clang”, “cl”, “zig” } is in your $PATH or set the e
ジョジョの奇妙な Swallow-7b-instruct-hf
### **user**:
ChatGPT 先生、今日は Swallow LLM で遊んでみたいと思います。
—
### **assistant**:
それならば、まずはSwallow LLMについて、基本的な情報から伝えることから始めましょうね。それから君の興味や遊び方に合わせて、具体的なアドバイスを提供できますよ。
Swallow LLMとは、どういったアクティビティを想像しているのか、もしくは何か具体的な質問があれば、教えてくださいね。私は君が満足のいく体験をできるように、全力でサポートしますよ。
—
### **user**:
まずは次のようにして必要なライブラリをインストールしました。
“`python
!pip install transformers sentencepiece accelerate
“`—
### **assistant**:
君はとても行動力があるね！初めからパッケージのインストールを自分で行うなんて、私も少し驚いたよ。
それではインストールしたライブラリを一つずつ簡単に説明しますね。最初の`tran
軌跡とプログラミング
# はじめに
高校数学2、3において放物線、円、楕円、双曲線の軌跡と方程式は頻出である。しかし、定義からそれらを実際に図示してみるという取り組みはあまりないようである。従って、本記事ではPythonを用いて、定義からそれぞれのグラフを描写することができるかどうかを考察する。具体的には、まず各曲線において描き方（定義）を述べ、それに応じたプログラムを作ることでどのようなグラフになるのかを図示する。# 円
## 定義
定点から距離が一定の点が描く軌跡を円と呼ぶ。
## プログラム
複素数平面を用いてプログラムを作成した。“`python circle_tra.py
import numpy as np
import matplotlib.pyplot as plt
import math
import japanize_matplotlibm=2
n=100#座標空間の設定
x=np.linspace(-m,m,n)
y=np.linspace(-m,m,n)X,Y=np.meshgrid(x,y)
#Z=(X**2+Y**2)**0.5
Z=abs(X+1j*
LNMarketsの基本メソッド備忘録
# 趣旨
LNMarketsを使って自分でロジックを組む時に使えそうなメソッドの仕様を確認したので、その備忘録として記録に残します。非常に簡単ですし、ほぼ公式Docsから持ってきただけなんですが、僕が確かめたい項目だけまとめてあります。全部見たい方は公式Docsを見る方がよいです。https://docs.lnmarkets.com/api/v2/
“`python
from lnmarkets import rest
import json# Creating an instance
options = {‘key’: ‘your_key’,
‘secret’: ‘your_secret’,
‘passphrase’: ‘your_pass’,
‘network’: ‘mainnet’}
lnm = rest.LNMarketsRest(**options)# Fetching market data
market_data = lnm.futures_get_market()# Getting f
Pythonで〇×ゲームのAIを一から作成する その66 枠線と文字列によるマークの描画
# 目次と前回の記事
https://qiita.com/ysgeso/items/2381dd4e3283cbed49a0
https://qiita.com/ysgeso/items/ab2770693c947c108dd0
## これまでに作成したモジュール
以下のリンクから、これまでに作成したモジュールを見ることができます。
https://github.com/ysgeso/marubatsu/blob/master/066/marubatsu.py
https://github.com/ysgeso/marubatsu/blob/master/066/ai.py
## ルールベースの AI の一覧
ルールベースの AI の一覧については、下記の記事を参照して下さい。
https://qiita.com/ysgeso/items/10d1d01192c014173e4b
# Artist を登録するメソッドに関する今後の説明の方法
最初に、__Artist を登録__ する __メソッド__ に関する __今後__ の __説明の方法__ を説明します。
Python で物体認識AIのYOLOv8を試してみた！〜応用編〜
# はじめに
今回は、物体認識のYOLOv8の応用編として、動画から物体の名称や自信度、座標位置を取得する方法をご紹介します。
YOLOv8のインストール方法や基本的な使い方は、前回の記事又は、Youtube動画をご覧ください。https://qiita.com/daifuku10/items/8eafc14eac1fed9251cd
# 環境
Windows10
Python3.11.8
GPU:NVIDIA Geforce RTX3060
VSCode# 使用ライブラリー
pytorch 2.2.1+cu118
ultralytics 8.1.25
opencv-python 4.9.0.80# 処理のイメージ
# YouTubeでの解説：
上記のインストー
ﾏﾂﾔ風に気温に対して感想を述べるbotを作ってmisskeyに生やした
# これ、は何⁈
Twitterで有名な謎のインド人こと[マツヤ](https://twitter.com/Matsya_)氏。
彼のような独特の文体で気温に対して感想を述べるbotを作ったので、その過程などを簡単に書く。実装内容（ライブラリ部分）：https://github.com/Syuko4omi/matsya_temperature
bot：https://misskey.io/@matsya_temperature# アー、⁇⁉︎、⁇マツヤの、。じこしようかい??。☆
– Twitterのアカウント：[मत्स्य](https://twitter.com/Matsya_)
– Twitterのフォロワー数20万人超え
– 日常のさもないツイートで毎回のように万バズする謎のインド人（日本在住）
– カレー屋（店名や所在地不明）
– 犬を飼っている
#### パイチャートを出力させるために書いたコード
※openpyxlライブラリをインストールする必要があります“`python
import openpyxl
from op
滑らかなNRZ信号の作成方法
現実に近い信号を作成するために、NRZ(Non Return to Zero)信号の1シンボルの信号を表す基本パルスを作成します。その関数を式に示します。このような式を用いることで、立ち上がりと立下りが滑らかな現実的な信号を作成することが出来ます。
“`math
F(t)=1/2(tanh(t/A) -tanh((t-T)/A)
“`
このとき、Tは1シンボルあたりの時間幅、Aはシンボルの立ち上がりの傾きを定める定数、tは時間を表しています。青色がtanh (t/A) 、赤色がtanh (t-T/A) 、黒色が青色と赤色の信号の差です。“`python
import numpy as np
import matplotlib.pyplot as plt
import mathdef main():
######################パラメータ######################
N = 2**10 #データ点数
syps = 28e9 #シンボル速度 baud
T = 1/sy
