Python関連のことを調べてみた

Python でハッシュタグ機能を実装

# はじめに
**ハッシュタグ**は、SNS などで広く利用される、話題やカテゴリを示すキーワードです。

本記事では、Unicode Standard で規定されている[ハッシュタグの仕様](https://unicode.org/reports/tr31/#hashtag_identifiers) を元に、ハッシュタグ機能の実装します。この仕様はハッシュタグの共通的な処理を促進する一方で、実装の自由度も一定程度確保しています。

# ハッシュタグの仕様
ハッシュタグの仕様について簡単に説明します。
“`:ハッシュタグの構文
:= * ( +)*

`:=` : 右辺が左辺の構文を定義
`<>` : 定義された構文
`*` : 直前の構文が 0 回以上繰り返されることを示す
`+` : 直前の構文が 1 回以上繰り返されることを示す
`()` : グループ化を表す

Start : ハッシュタグの開始文字
Continue : 続く文字
Medial :

アルゴリズムの計算量コードにしてみた！！

# 計算量O記法

以下にアルゴリズムの計算量をコードを記述しました。
勉強の記録として残します。

## プログラム記述

“`python
# O(log(n))
def func2(n):
if n <= 1: return else: print(n) func2(n/2) # O(n) def func3(numbers): for num in range(numbers): print(num) # O(n * log(n)) def func4(n): for i in range(int(n)): print(i, end=' ') print() if n <= 1: return func4(n/2) # O(n**2) def func5(numbers): for i in range(len(numbers)): for j in range(len(numb

Pythonコードの実行時間を計測する

# 1. なんでそんなことするの？
Kaggleでニューラルネットとか使う創薬コンペに取り組んでいるのですが、Kaggle Notebookのランタイムの制約と戦っています（12時間/回）。ギリギリ時間切れでoutputが出て来ず、時間を何時間も無駄にするのは避けたいところ。
各コード・セルの処理時間を計測したいと思ったので、やり方のメモをします。
# 2. やり方
まずライブラリをインポートします。
“`
import time
import numpy as np
import pandas as pd
“`
次に、処理時間を計測したいコードをtime.time()で挟みます。
time.time()は1970年1月1日 00:00:00 UTC（協定世界時）からの経過時間を秒単位で返します。
“`
# 実行時間の計測開始
start_time = time.time()

#* 処理 *#
#* 処理 *#
#* 処理 *#

# 実行時間の計測終了
end_time = time.time()

# 実行時間の表示
elapsed_time = end_tim

【Dify】flask-openapi3による独自処理のカスタムツール化

# 概要
flask-openapi3を使って、独自処理をDifyのカスタムツール化する方法のメモです。

# 背景
[Dify](https://dify.ai/jp)はLLMアプリケーションをノーコードで作れるツールです。とても便利ですが、組み込みツールだけだと、実現できる処理の自由度に限界があります。
ローカルでAPIを作ってカスタムツールとして登録できれば、開発の自由度が高まることが期待されます。
Difyでは、OpenAPIの仕様に沿って作られたAPIは簡単にカスタムツールとして登録することができます。そこで、flask-openapi3を使って、pythonでローカル実装された関数を、Difyのカスタムツールに登録することを試みました。

# 環境

– [flask-openapi3](https://pypi.org/project/flask-openapi3/) バージョン3.1.3

“`
pip install flask-openapi3
“`

– M1 Mac
– pythonは3.11.2
– Difyのクラウド版
– [ngrok](h

python勉強記録①

pythonの勉強中で、作りたいものが無いためとりあえず
CPU使用率、memory使用率を取得しDBへ保存するプログラムを作成してみました。

**目的**
– DBの学習
– sqlalchemyの使い方

“`text
Package Version
————————- ———–
altair 5.3.0
pip 24.0
psutil 6.0.0
pytz 2024.1
SQLAlchemy 2.0.31
streamlit 1.36.0
“`

“`python:moniter.py
# pip install psutil
# pip install sqlalchemy
# pip install pytz

import psutil
import datet

【python環境構築】初心者のこれだけ見れば大丈夫python環境構築 – pyenv実践編 –

## はじめに
前回の知識編の記事で仮想環境構築理由はなんとなくでも理解はしてもらえましたか？
本記事では環境の構築方法をインストール部分から一緒にやってみましょう！（今回はpyenv編）
今回は私のPCがMacなのでmacOSの手順を説明します！

## pyenvのインストール
まずmacOSの場合はパッケージマネージャーとしてHomebrewを入れていない方は、インストールするところから始めましょう。
“`
/bin/bash -c “$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)
“`
## pyenvのインストール
pyenvを先ほどインストールしたHomebrewを用いて、pyenvをインストールしましょう。
“`
# Homebrewのパッケージリストを最新に更新
brew update

# pyenvのインストール
brew install pyenv
“`

## シェルの設定ファイルにpyenvの初期化コマンドを追加
シェル（ターミナル）の設定

MongoDBで検索結果処理中にカーソルがタイムアウトした

## エラー内容
MongDBで、検索した結果(約4万件)をforループ内でひとつづつ処理していく最中に、以下のようなエラーが発生しました。

“`bash
Exception has occurred: CursorNotFound
cursor id 1180948255076503304 not found, full error: ….
“`
また、実行していたPythonのコードは、次のようなものです。MongoDBのドライバはpymongoを使用しています。

“`Python
with MongoClient(driver_URL) as client:
webcamDb = client.webcam
collection = webcamDb.webcam

# search all information
for webCamInfo in collection.find():
#何らか処理
“`

## 対応内容
調べたところ、上記エラーは、既に閉じられたか、タイムアウトしたカーソルを使用しようとした時に

東京大学のAWS入門資料がいい感じだったので最新のAWS環境でも実行できるようにしてみた

# きっかけ
東京大学のAWS講義「[コードで学ぶAWS入門](https://tomomano.github.io/learn-aws-by-coding/)」、いわゆる東大AWSってやつがが良いらしいと聞いたのでやってみました。
確かにこれは良いです。クラウドをこれから学びたい方にぜひおすすめ。

https://tomomano.github.io/learn-aws-by-coding/

集中講義的に休日に半日もあれば学べます。

かかるAWS費用もわずか。
ほとんどのチュートリアルがAWSの無料枠で実行できてしまいます。機械学習用のGPUインスタンスをぶん回すところだけは有料です。それでも数百円で済みます。
これは一通りハンズオンをやってみたAWSの費用です。

**もはや学ばない理由が見当たりませんね。**

【Python】初心者でも理解できる！入力テンプレート・小技集

まえがき
—–
どうも、著者のLinです。本当に無名の端くれですが、
本当にわかりやすく書いているので多分初心者でもわかりやすいと思います。
あとここに書いているのはかなーり基礎的な内容です。
本当に学びたいならもっと他のサイトの方がよっぽど参考になると思います。
今回は初心者向けに、
Pythonで入力を受け取って変換するまでの大体のパターンをまとめました。
この標準入力ネタはどこの界隈でも擦られすぎて$n$番煎じどころか$n^2$番煎じだと思ってます。

入力テンプレート(解説付き)
—–

“`Python:basic_io.py
#この辺りは本当に基礎の基礎。使えないとコードを書けないレベル。　
#使用頻度:★★★★★ 難易度:★

string_data = input() #文字として受け取る
number_data = int(input()) #文字として受け取ったものをint型に変換
“`
※基本的に使う型はint、string、list、場合によりfloatぐらい。他は大体代用品があります。

:::note warn
このコードを書いた

ウマ娘の声をPythonで波形の表示と周波数解析を行った

# はじめに
こんにちは，Umamusume22です．今回は私の大好きなウマ娘の声をPythonで周波数解析をしてみました．ゴールドシップ(以下，ゴルシ)が他のウマ娘のモノマネを行っている動画がyoutubeにあります．
ゴルシのモノマネが上手だったのでどのくらい似ているのか定量的評価をします．
今回はスペシャルウィークを検証の対象にしました．スペシャルウィークはアニメ1期のヒロインで1998年に活躍したウマ娘でありサイレンススズカと異母兄弟でレースでは(オタク特有の早口のため略

オタク特有の早口は置いといて検証に使ったYoutubeのリンクを貼っておきます．

# pc環境
mac Catalina(10.15.7)
Python 3.12.3

# Pythonで音声データを周波数解析[1]

### 必要なモジュールをインストール
Pythonで音声データを周波数解析するためにpydubをインストールしました．homebrewでパッケージ管理している場合は以下のコマンドを打って

探索的データ分析（EDA）完全ガイド：2024年版

## 第1章： 探索的データ分析（EDA）とは？

探索的データ分析（EDA：Exploratory Data Analysis）は、データサイエンスにおいて欠かせない重要なプロセスです。
EDAは、データの特徴や構造を理解し、仮説を生成、検証するための一連の手法を指します。
2024年現在、ビッグデータや機械学習の普及に伴い、EDAの重要性はますます高まっています。

EDAの主な目的は以下の通りです：

1. データの全体像を把握する
2. 変数間の関係性を明らかにする
3. 異常値や欠損値を発見する
4. データの質を評価する
5. 仮説を生成し、検証する

EDAは、データクリーニング、データ変換、統計的分析、可視化など、多岐にわたる手法を組み合わせて行われます。
他のデータ分析手法と比べ、EDAは特に探索的な性質が強く、データの “理解” に重点を置いています。

最近のEDAのトレンドとしては、以下のような事例が挙げられます：

– 自動EDAツールの活用（Pandas Profiling, Sweetviz, DataPrep.EDA など）
– インタラクティブな可視化

ローカルLLMの最新動向と事例

### はじめに
皆さんこんにちは♪
本日は、ローカルLLMの最新動向と事例について、紹介します。

ローカルLLMについてはこちらも参考にしてください♪
https://note.com/kii_genai/n/nf360bc4e0167

LLM（Large Language Model）は、膨大なデータセットを用いて学習された自然言語処理モデルです。従来はクラウドサーバーでの実行が主流でしたが、プライバシー保護やデータセキュリティの観点から、ローカル（デスクトップやモバイルデバイス）での利用が注目されています。今回は、ローカルLLMの最新動向と事例を国内外から紹介します。

### 国内の事例

#### KARAKURI LM
カラクリ株式会社が開発した「KARAKURI LM」は、日本語に強いローカルLLMとして注目されています。2024年1月に「KARAKURI LM 70B Chat v0.1」を公開し、多くのユーザーに利用されています。KARAKURI LMの特徴は、その高い日本語処理能力と多様なユースケースに対応する柔軟性です。

具体的な用途としては、クリエイテ

【Python】リスト、Numpy配列、Series、DataFrame間のデータ変換

# はじめに
Pythonを使っていると、リスト、Numpy配列、Series、DataFrameのを行ったり来たりしながら作業を進めることが多いかと思います💡

問題は、リストをDataFrameにしたい！　とか、Numpy配列をSeriesにしたい！　とか、それぞれの変換方法が忘れがちなことです・・・・。

今日は、いつも困ったときに参考にさせて頂いているサイトをご紹介します。

# データ変換図

リスト ↔︎ Numpy配列 ↔︎ Series ↔︎ DataFrameの変換方法


この図が素晴らしいです！
一発で、変換するときの方法を知ることができるので、よく参考にしています。

さらに具体的なコードも知りたい方は、リンク先に丁寧な解説があるのでぜひ✨

# 終わりに

Pythonでスケジュール管理表のテンプレートを自動で作成する

## はじめに
PythonでExcelを自動化したい、Pythonでもっと業務を効率するスキルを身につけたい…とふと思ったときにスケジュール管理表を自動で作成するコードを書いてみました。

完成すると下記のようになります。


## 事前準備

GoogleDriveにアップロードするため、認証情報を作成する。

https://qiita.com/Statistical_Science/items/1e860fede222b624e754

## Excelファイル作成
openpyxlライブラリをインポートし、Excelファイルを作成します。

“`ruby
import datetime
import locale
import openpyxl
from datetime im

ARC180回答メモ

# 0.はじめに
　土曜日がARCと珍しい感じ。1問も正解できず
　レート落ちする恐れもありましたが、まぁ
　今更気にしてもしょうがないので参戦。
　なんとか1問正解でき、レートも微増となりました。

# 1.A – ABA and BAB
　愚直に解いていくとTLEまっしぐらな問題であることは
　わかるものの、最初はどうしていいかわかりませんでした。
　
　まぁ2時間使うつもりでとりあえずTLE覚悟の愚直な
　方法で実装
【考え方】
　1.1回置換の操作を行うと、文字列の長さが2個減る
　2.N=10の時、文字列の長さ毎のパターンは以下の5種
　　1)N=10、2)N=8、3)N=6、4)N=4、5)N=2
　3.まず、N=10の文字列をリストL(set)に格納
　～以下Lがなくなるまで繰り返し
　　4.Lから、一つずつ文字列を取り出し取り出すたびにansに1加算
　　5.取り出した文字列を先頭から見ていき
　　　ABAかBABが出てきたら、置換した文字列を
　　　リストNL(set)に格納していく
　　6.Lがなくなったら、LをNLで置き換え
　7.ansを出力して終了
　
　上

matplotlib学習

## 本記事について
matplotlibの学習ノートです

## 参考リンク
* [Matplotlib documentation](https://matplotlib.org/stable/)
* [seaborn 徹底入門！Pythonを使って手軽で綺麗なデータ可視化８連発](https://www.codexa.net/seaborn-python/)

機械学習にはどれくらいのデータが必要ですか？

機械学習に限らず，データ分析の依頼を受ける際によく訊かれるのが、

　　　　**「どれくらいデータがあればいいですか？」**

という質問です。それに対しては、まずは、

　　　　「特徴量の数の10倍[^1]が目安ですね。でも問題とモデルの複雑さに依存するので簡単ではないですね。」

と答えることが多いです。

しかし、この問題は一言では片付けられないほど奥が深いのです。
必要なデータ量は、扱う問題の性質や用いる手法によって大きく変わります。

そこで本記事では、**①説明変数の数、②機械学習モデル、③データ量を変えながら精度がどう変化するかを実験的に調べ、問題設定ごとに最低限必要なデータ数を見積もるための指針を提示**します。

AIやデータ分析に取り組む皆さんにとって、必要データ量の見積もりは永遠の課題ともいえます。本記事の知見を活用いただき、プロジェクトを成功に導く一助となれば幸いです。

## 第1部 必要データ量を左右する要因

必要なデータ量は、以下のような様々な要因に依存します。

– **問題設定**
– 入力データが数値、画像、テキストなどのどれか
– 目的が

Python_Googleアラート_240630

### ちょんち様のPython 3 エンジニア認定基礎試験合格体験記を公開しました – CNET Japan
CNET Japanは、ちょんちさんのPython 3 エンジニア認定基礎試験合格体験記を公開しました。ちょんちさんは、試験合格に満足しており、貴重な経験になったと語っています。試験合格は自信にも繋がったそうです。詳細はこちらのリンクからご覧いただけます。

#### https://japan.cnet.com/release/30929337/
—
### ちょんち様のPython 3 エンジニア認定基礎試験合格体験記を公開しました – ZDNET Japan
ZDNET Japanは、ちょんちさんのPython 3 エンジニア認定基礎試験合格体験記を公開しました。ちょんちさんは、試験に合格したことで自信がついたと語っています。合格体験記では、試験対策や学習方法について詳しく紹介しています。

#### https://japan.zdnet.com/release/30929337/
—
### エラー
エラーが発生しました。

#### http://w

AWS CodeGuru ReviewerでPythonのコードを自動レビューしてもらおう

こんにちは。Kaneyasuです。
本記事はAmazon CodeGuruを使って、Pythonのコードを自動レビューを試みるという記事です。

# AWS CodeGuru Reviewerとは

https://aws.amazon.com/jp/codeguru/

Amazon CodeGuruはAIによるソースコードのセキュリティチェック、ソースコードのコードレビュー、アプリケーションのサンプリングからプロファイル作成を行うという3つの機能を持つサービスです。
それぞれ、Amazon CodeGuru セキュリティ、Amazon CodeGuru Reviewer
、Amazon CodeGuru Profilerと言います。
なぜかCodeGuruの公式ページではセキュリティの機能だけが前面に出ていますが、3つの機能があります。
本記事ではAmazon CodeGuru Reviewerを用いて自動コードレビューを試してみます。

なお、CodeGlueではなくGuruです。
ETLサービスにAWS Glueがあるため、スペルを間違えやすいですが、Guruです。

# AW

Python Tkinterで実装する折りたたみ可能なサイドバー

## はじめに

Pythonのグラフィカルユーザーインターフェイス（GUI）ライブラリであるTkinterを使用して、折りたたみ可能なサイドバーを持つダッシュボードアプリケーションを作成する方法を紹介します。このサイドバーは幅の調整が可能で、完全に折りたたむこともできます。

## 完成イメージ



![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2648069/f4e575d7-e383-3c2b-a