Python関連のことを調べてみた

python venvを作成

“`
python3 -m venv venv
“`

5分でわかるPythonからRedisへのデータ登録

# はじめに
こんにちは、京セラコミュニケーションシステム林（@kccs_koki-hayashi）と申します。　

私が5か月前に業務でぶつかった問題に対する解決策を、備忘録がてら本記事で共有いたします。同様の問題でお困りの方のお役に立てれば幸いです。

## 実際に困っていたこと　

PythonでRedisへのデータ登録作業を行うにあたって、事前に工数見積もり調査を行う必要がありました。しかし、登録方法を手軽に理解できる記事が見当たらず、私自身未経験の作業だったということもあり、タスクの難易度をはかることができず、困りはてておりました。

## この記事の目的
本記事ではかつての私のようにRedisに苦戦しておられる読者の方々に向けて、Redisへのデータ登録の方法をできるだけわかりやすく説明いたします。

本記事を読んでいただければ、 **最短5分間でRedisへのデータ登録を理解することが可能です！**

それではやっていきましょう！

# 本記事の対象者
– macOSの方
– Pythonについてある程度知識・経験がある方
– 実際に手を動かしてPythonからRedis

Keras(tf.keras)でBERTを扱う

# はじめに
世間はPytorch一択なのだろうか。私は信じたい、Keras(Tensorflow)の力を。

ということでKerasでBERTモデルを扱ったので備忘録を残す。

いろいろ調べていると、huggingfaceのtransformersライブラリを使うときは、Pytorchを使ってる人が多いと感じた。自分も[過去の記事](https://qiita.com/chicken_data_analyst/items/15c0046062c6e016f467)ではPytorchを使っていた。ただ慣れているのはKerasなので、Kerasでtransformersのモデルを扱えるようになっておきたいなと思い、お勉強したという経緯。
先人たちのいろいろな知見をつまみ食いしながらお勉強したので、自分用にこの記事を書いて知見を1つにまとめたい。

今回書くのは以下2つ。
– Kerasを使ったMaskedLMタスクによるBERT学習方法
– Kerasを使ったBERTのファインチューニング（文書分類）の方法

# 参考
– [[huggingface] masked_language_m

Kaggle Notebook Internet Offでpytorch_tabnetを使う方法 (2023年12月時点)

## はじめに
Kaggle Typingコンペ（Code competition）にてInternet offでのTabNetのインストールに困ったので解決策を残しておきます。

## 問題
TabNetのpackage依存関係でエラーが起きていました。
古いバージョンのTabNet (4.0以前) は要件に1.2 <= torch < 2.0を含みますが、Kaggle Notebook環境ではtorch==2.0.0となっており、以下のエラーが生じていました。 ```python !pip install --no-index --find-links /kaggle/input/pytorch-tabnet/pytorch_tabnet-4.0-py3-none-any.whl pytorch_tabnet from pytorch_tabnet.tab_model import TabNetRegressor ``` ```bash Looking in links: /kaggle/input/pytorch-tabnet/pytorch_tabnet-4.0-py3-n

MeCab-pyhton3 ユーザー辞書の作成windows11

# MeCabのインストール
1.pythonのライブラリインストル

“`terminal
pip install mecab-python3
“`
なお、`conda install` には対応しておらず。

2.Windows版をインストール。[ここ](https://taku910.github.io/mecab/#download)から。
文字コードはUTF-8を選択する。

# ユーザー辞書の作成
1. Windows版MeCabのデフォルトの辞書を探す。
例：`C:\Program Files (x86)\MeCab\dic\ipadic`
1. 単語情報が入っているcsvファイルを探す。
1. csvファイルを適当な所にコピーして末尾に単語を追加する。
1. 元のファイルと置き換える。管理者権限が必要。
1. スタートメニューから`Recompile UTF-8 Dictionary`を実行する。
1. 更新された辞書を探す。
例：`C:\Users\***\AppData\Local\VirtualStore\Program Files (x86)\MeC

【seleniumクラス】WebDriverについて

## はじめに
【seleniumクラス】WebDriverに関しての備忘録です。
初心者です😅
間違えてる部分が多々あると思います。
もし見つけた場合、ツッコミいただけると助かります🙇

## 🦁**結論**🦁

:::note info
押さえておくべき点
* WebDriverはウェブブラウザの操作を自動化するために使用。
* Pythonだけでなく、Java、C#、Rubyなども使える。
* Chromeだけでなく、Safari、edgeなど様々なブラウザに対応（それぞれの環境でテストできる。）
* エレメント操作（テキストボックス、ボタン、リンクなど）も可能。
* エレメントの読み込みを待つためにwait機能が付いている。
* 処理途中の画面をスクショすることができる。
* 様々なフレームワークと組み合わせ可能。
:::
***

:::note warn
利用シーン
* 様々な自動化したいテストに最適（一連の動作を決めてイレギュラーなどがないかを確認する）
* スクレイピングなどの自動データ収集にも向いてる。
:::
***

fast_whisper 実行時に、ある時期からruntime errorが出て動かなくなった。

### Google colaboratoryで音声テキスト化していたが、急にruntime errorで動かなくなった。

ロードしていたモジュール
“`
!pip install faster_whisper
!pip install cupy-cuda110
“`

#### 出力されたエラー
RuntimeError: Library libcublas.so.11 is not found or cannot be loaded

#### とりあえずの解決策
“`
!pip install faster_whisper
#!pip install cupy-cuda110
!apt install libcublas11
“`

機械学習で株価分析16 C++を用いた単純な数値解析例

# はじめに
本記事では、**C++を用いた資産運用シミュレーションの単純な数値解析例**を紹介します。紹介するプログラムでは、取引回数や取引の成功率を設定することで、手数料やマーケットインパクト等の誤差要因は全く考慮しない単純な運用モデルをシミュレーションできます。

# フローチャート
### 1. パラメータの設定
以下のパラメータを任意に設定します。

* 試行回数：運用シミュレーション自体の反復回数を指定します。
* トレード回数：取引を行う累計日数を指定します。
* １日のトレード回数：1日に何度取引を行うかを指定します。
* 初期資産：運用を行う初期資産です。1を設定すれば期待値が算出されます。
* 予測の正解率：自身で構築した予測モデルの適合率を設定します。
* 正解時の上がり幅：予測が的中した場合に資産が増加する割合を設定します。
* 不正解時の下がり幅：予測が失敗した場合に資産が減少する割合を設定します。

### 2. 数値シミュレーションの試行
以下の手順で数値シミュレーションを試行します。

1. 取引予測シミュレーションのための乱数を生成
2. 乱数に基づ

Rhinoceros x Pythonで3Dデータの分析をしよう（環境構築編）

# はじめに
仕事を通じてRhinocerosとPythonを使って3Dデータを分析する機会がありました。色々面白いことができるのですが、ネット上に情報が少なく苦労した割に今後同じような分析をする機会も少なそうなので、学んだことを記事にして多くの人に参考にしてもらえればと思ってこの記事を書きました。Plateauというオープンな日本の都市の3Dデータを題材に分析のための環境構築と分析の事例を紹介します。
この記事ではまず環境構築とRhinoceros上でのPythonの動作確認までをご紹介します。

# Rhinocerosとは
Rhinocerosについての詳細については[公式サイト](https://www.rhino3d.co.jp/)や各種専門書を参考にしてもらえればと思いますが、[NURBS](https://ja.wikipedia.org/wiki/NURBS)というモデルの表現が得意なタイプの3DCADソフトで、工業デザインや機械設計、建築などに使用されています。

Rhinocerosでは基本的にはGUIを使用して3Dモデリングを行うことが想定されていますが、C#やP

初心者必見！！PythonのOpenCVを使って画像から顔の部分を特定しよう

# はじめに
こんにちは!!
MYJLab Advent Calender 2023の19日目を担当させていただく3年生です。
初投稿なので、緊張していますが温かい目で見守ってください笑

昨日の投稿は

さて、今日は「初心者必見！！PythonのOpenCVを使って画像から顔の部分を特定しよう」ということで初心者にはハードルが高い機械学習の部分を”あるもの”で代用して誰でも簡単にできる手順を解説していきます。これを読み終わった後今回使った”あるもの”を自分で作ってみようと思ってもらえるよう頑張ります！
ではどうぞ！

# 目標
OpenCVの予め用意された”あるもの” = “カスケード型分類器”を使って、顔検出して顔部分に四角形を描画する

# 環境
今回はPythonを使います。
– Windows 11 Home
– Python 3.11.0
– opencv-python 4.7.0

# 準備
### カスケード分類器の準備
以下のリンクから学習済みのカスケード分類器をダウンロードします。
[https://github.com/opencv/opencv/tree/mas

Django Rest Frameworkとdjango_filterを使ってCSVを出力しよう！

## 概要
Django Rest Frameworkを使ってCSVを出力する方法について解説します

## 前提
– Djangoのプロジェクトを作成済み
– django_filterについて一定の知識を有している

## ディレクトリ構成
“`
tree
・
└── application
├── __init__.py
├── admin.py
├── apps.py
├── filters.py
├── fixtures
│ └── fixture.json
├── models.py
├── serializers.py
├── urls.py
└── views.py

“`

## 必要なファイルの作成
実装の際に以下のファイルを作成します
– models.py
– fixture.json
– filters.py
– serializers.py
– views.py

### Modelの作成
今回は
– User
– Customer
– Address

の3種類のMod

Maya プレイブラストでコマを抜きたい

mayaのプレイブラストをコマ抜いて実行したいなぁ
という場面がありまして

先人達にどうやってるって聞いたら
– AEに持ってってコマ抜く
– フレームレート落して実行する
– レンダリングのbyFrameを使って

などなど

え。プレイブラスト単体ではできねぇの？
（maya2022)

https://help.autodesk.com/cloudhelp/2022/JPN/Maya-Tech-Docs/CommandsPython/playblast.html

frame フラグで、特定のフレームだけ出せるは出せるけども・・・

カメラシーケンサに何かそういう感じの機能ないのかしら・・・

難しく考えるのをやめた
–
とりあえず確実かつ、シーンをぶっ壊さない方法を。

– 通常通り連番でプレイブラストを行う
– 連番ファイルの中でキーとなるフレームのファイルで、次のキーとなるフレームまでのファイルを上書き

うん　パワー

雑実装
–

“`python
import os
import shutil
def overwiteStepFrames(step,seqFile

【AWS Lambda関数作成】APIGatewayの作成手順（状態維持API編）

## はじめに
【AWS Lambda関数作成】APIGatewayの作成手順に関しての備忘録です。
初心者です😅
間違えてる部分が多々あると思います。
もし見つけた場合、ツッコミいただけると助かります🙇

## 🦁**結論**🦁

:::note info
押さえておくべき点
* AWSではAPI Gatewayは必須ツール。
* API Gatewayは「情報の出し入れの管理」「セキュリティ」「様々なデバイスに対応」「データの変換」などを行うことができる。
* CORS（Cross-Origin Resource Sharing）は、ウェブブラウザーのセキュリティポリシーの一部で、異なるウェブサイト（オリジン）間でデータを共有するためのルールや仕組み。
* オリジンとは、ウェブサイトやウェブアプリケーションがホストされているドメイン（サイトのアドレス）のこと。
:::
***

:::note alert
注意点
* テストではステータスが「200」が返ってきたとしてもエラーメッセージがある場合がある。
:::

***

##

AtCoder Heuristic Contest(AHC)はどんな問題なのだろうと思って初めて解いてみた記録[Python]

[Supership](https://supership.jp/)の名畑です。「[映画「鬼太郎誕生 ゲゲゲの謎」興収が11.5億円を突破！大ヒット御礼で本編冒頭映像が公開](https://animeanime.jp/article/2023/12/12/81781.html)」とのこと。めちゃくちゃ人気のようで本当に嬉しいです。

## はじめに

これまで私の記事で何度も取り上げてきた競技プログラミングのサイト[AtCoder](https://atcoder.jp/)には大きく分けて2種類のコンテストがあります。そのうちの一つがABC、ARC、AGCなどのアルゴリズムコンテストであり、もう一つが**AtCoder Heuristic Contest**(**AHC**)です。

> ABC/ARC/AGCなどのアルゴリズムコンテストと異なり、最適解を出すのが難しい問題に対し、出来るだけ良い解を作成するコンテストとなります。
>
> [AtCoder Heuristic Contest 001](https://atcoder.jp/contests/ahc001)より

今ま

時系列クラスタリング

# 時系列クラスタリング
#### 時系列クラスタリングは、時系の経過に伴って変化するデータを分析し、類似したパターンやトレンドを持つデータポイントを同じクラスタにまとめる手法です。コレにより、データの潜在的な構造やパターンを抽出することができます。

今回はPridict-Feature-Salesのデータを用いて、shop_idを時系列クラスタリングをしてみました。

### ライブラリ&データの読み込み
“`python
import pandas as pd
import numpy as np
iport matplotlib.pyplot as plt
import warnings
from tslearn.clustering import TimeSeriesKmeans
from tslearn.utils import to_time_series_dataset
from tslearn.preprocessing import TimeSeriesScalerMeanVariance

plt.rcParams[‘font.family’] = ‘Hirag

Pythonのstatsmodesの重回帰分析の回帰係数が摩訶不思議な値になる問題の原因と対策

# 概要

– Pythonの統計解析statsmodelsで重回帰分析を行っていたら，あるサンプル数以上から回帰係数が正しく出力されないという現象に出会ったので，その原因と対策について共有します．
– 結論をざっくりいうと，原因は（たぶん）因子であるカテゴリ変数をOne-Hotエンコーディングをしていたことで，対策は因子ごとのダミー変数を1つずつ抜くことです．

# 起こった問題

A, B, C, D, 4つの因子に対してそれぞれa, b, cという水準(値)を取りうるデータとその評価点（1から7の数値）があるデータに対し, 各因子の値を説明変数，評価点を目的変数としてPythonのstatsmodeslで重回帰分析をすることで，各因子の値が評価点にどのように影響を与えるかを分析していました．（抽象的でスイマセン…．要は得点評価法を用いたコンジョイント分析です）

下記のような感じでカテゴリ変数である因子A, B, C, Dを0または1の値を取るダミー変数(A_a, A_b,…)に置き換えました．いわゆるOne-Hotエンコーディングというものです[参考2]．

ベンチャー実務経験1年で大手に転職して地獄を見た話

# はじめに

私は新卒で30人規模のBtoBベンチャーに入社し、1年間勤めました。スキルとしては、使用言語はPython, Django, jQuery, JavaScript, Reactで、自社プラットフォームの開発を行ってました。運用・監視はインフラの役割なので開発部では扱わない、テストは手動の結合テストのみ、ソースコードはスパゲティ、アーキテクチャは巨大な肉団子、CI/CDは使ってない、プルリクは自分でマージするといった状況でした。

そして、今の会社に転職して、E2Eなどテスト自動化は導入ずみ、アーキテクチャはオニオンアーキテクチャ、AWSやTerraformなど運用や監視などの体制、言語はGolangやJava、開発環境はdevcontainerというように、ほとんど全てが最先端の企業で働くことになり、半年が経ちました。

使ったことのない技術やツールが多かったので、技術的な面はもちろん、非技術的な面でも未熟な状態でした。1on1はダメ出しばかりで、よくマネージャに詰めれていました。そこで、今回の記事では、私が半年でぶつかった課題をまとめてみました。

**新卒**、**

物流2024年問題間近、配車アプリを作ることが出来るAPIを使ってみよう（後編）

# はじめに
HEREでエンジニアをしておりますkekishidaと申します。前編では、HEREにおける物流DX向けソリューションの雄であるTour Planning APIのデモサイトについて紹介しました。

https://qiita.com/kekishida/items/c5f70ade5de232a0c901

後編では、Tour Planning APIをベースにPythonとJupyter notebookを使用して、実際に配車アプリのプロトタイピングをしてみたいと思います。（以下は完成イメージです）

# プロトタイピングに必要なもの

今回プロトタイピングを行うにあたって以下を準備する必要があります。
– Python
– Jupyter notebook
– HEREアカウント
これらの詳細は拙記事であ

SLAMのループ閉じ込みを完全理解

# はじめに

[前編「グラフ最適化をマスターしよう！」](https://qiita.com/scomup/items/b49c6656870f17690953)では、グラフ最適化の全体像を説明し、独自の汎用グラフ最適化ライブラリ(graph_solver)を紹介しました。今回はこのライブラリを利用して、リー群ベースのループ閉じ込み (Loop Closure / Loop Closing)の解法について解説したいと思います。

## ループ閉じ込みとは？

ループ閉じ込みは、SLAM(Simultaneous Localization and Mapping)研究において重要なテーマの一つです。移動体が未知の環境で自己位置推定と地図作成を行うSLAMのプロセスにおいて、誤差が蓄積されて地図と自己位置推定の間に不整合が生じる場合、ループを検出してその情報を利用して不整合を修正する手法を指します。

## ループ閉じ込みの例

わかりやすく説明するために、簡単なループ閉じ込みの例を示します。

以下の図では、緑の円形のロボットが未知の環境を探索し、車輪オドメトリから自己位置を累積的

趣味で書いていっているPythonフロントエンドライブラリの1年の活動をまとめて振り返ってみる（2023年版）

のんびりとした進捗ですが今年も趣味で書いていっている自作のライブラリで対応したことなどの1年の振り返りをしておきます（GitHubのissueで今年1年でClosedになったもをissue番号を絡めて振り返っていこうと思います）。

※去年の振り返り記事 :

https://qiita.com/simonritchie/items/8d135e9350c68174870b

# ライブラリの概要と記事の事前情報

– [apysc](https://github.com/simon-ritchie/apysc)というPythonの簡易のフロントエンド用のライブラリです（ライトで機能の少ないAltJS風味なライブラリと考えていただければと）。
– Pythonで書いてHTMLとjsで出力したり、Jupyter (notebook / Lab)やColaboratory上で表示したり・・・といった制御を行うことができます（VS Code上のJupyterは現在未サポート）。
– 今まではSVG要素がメインでしたが段々とその他の要素も追加していっています。
– 型をしっかりと定義していって