- 1. pi picoでmicropython その36
- 2. Data Wrangler extension for Visual Studio Code Insiders
- 3. yt-dlpを使ってyoutubeからmp3を抽出する
- 4. 週一でPython勉強会やってみる①
- 5. pi picoでmicropython その35
- 6. 【機械学習】データは目で確認した方がいいと思った出来事
- 7. 半角全角変換モジュールのバージョン 1.1.1 をリリースしました。
- 8. ちゅらデータ菱沼さんから学ぶSQLの基本
- 9. 最適化フレームワーク Codable Model Optimizer を使ってポートフォリオ最適化問題を解いてみた.
- 10. Django REST frameworkでAPIを作成する
- 11. yieldについて
- 12. 【Django】loaddataコマンドを使用してfixturesデータをデータベースにロード(初期データを投入)する方法
- 13. Kaggleでコピーしたノートブックのパッケージのバージョンが古すぎるときの対処法
- 14. Python3.11 + TF2.12 + GPUの環境を構築した(Windows11 + VSCode)
- 15. Azure OpenAI Service を使って OpenAPI と PlantUML からテストコードを生成する
- 16. pythonでQ-learningを実装 1/2
- 17. 【Python/MATLAB】点群のダウンサンプリング関数の仕様の違い
- 18. 【機械学習】WindowsでcuMLとかcuDFを使えるようにしていく【RAPIDS】
- 19. pi picoでmicropython その34
- 20. pi picoでmicropython その33
pi picoでmicropython その36
# 概要
picoでmicropythonやってみた。
練習問題やってみた。# 練習問題
俺言語インタープリタを拡張し、じゃんけんを実行せよ。# 方針
“`
a=?で、右項に?がきたら、数値入力。
b=$で、右項に$がきたら、乱数。
“`# じゃんけんのソースコード
“`
10 ?=”0:gu 1:choki 2:pa 3:end ”
20 a=?
30 b=$
40 ?=b
50 #=a=3*300
60 #=a=b*100
70 #=a you no kati ”
90 #=10
100 ?=”-> aiko ”
110 #=10
120 ?=”-> you no make ”
130 #=10
“`# サンプルコード
“`
import random
import time
import sys
Ram = []
Lbf = 237
Bnd = 234
PC = 235
Ptr = 0
Cur = 0
Adr = 0
Adr2 = 0
Val = 0
C = 0
led = machine.Pin(25, machine
Data Wrangler extension for Visual Studio Code Insiders
※この記事は2023年4月5日に書かれています。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/864075/2c764d05-1ce6-700c-1c73-3722e2cc67e5.png)Data Wrangler は、VS Code と VS Code Jupyter で CSV や Parquet データのエラー、不整合、欠落を修正するクリーニングのプロセスを簡素化することができます。対話型UIで作業ができるので、作業に集中することができ、また、Pandas ライブラリを使用した Python のコードが作成されるので、保守性も高くなります。
インストールから操作の手順をJeffrey MewのYoutube動画「[Data Wrangler Walkthrough](https://youtu.be/KrzcV1c1W1U)」を参考に作成しました。[^1]
週一でPython勉強会やってみる①
## はじめに
社内の有志で行っている勉強会のまとめを記載していきます。
教材は「Python自動処理の教科書」です。
開発環境はGoogle Colaboratoryを使用します。
レベルは全く触ったことない人、少しだけ触ったことある人だけなので手探りでやっていきます。
※ざっくりなまとめです。また、教材と少しそれたこともやります。以下箇条書き
## Pythonについて
Pythonは幅広く使われている言語。(自動化やデータ分析等多方面)
ライブラリが充実しているオープンソースなので比較的とっつきやすい。
{}で囲うというスコープの概念が異なる。(JS習得済みのため比較対象)## Pythonのインストール
省略。Google Colaboratory使うので不要。## 触ってみる
**ライブラリのインポート方法**
※hogeモジュールのfugaオブジェクトを使う例で
「import hoge」→ベーシックなライブラリインポートの書き方
例:hoge.fuga.get()
「from fuga import hoge」→ hogeモジュールないのfugaオブジェクト
pi picoでmicropython その35
# 概要
picoでmicropythonやってみた。
練習問題やってみた。# 練習問題
俺言語インタープリタを拡張しLチカを実行せよ。# 方針
– gpioの初期化
– 変数lの導入 LEDを操作する。
– 変数”の導入 sleepを実装する。# Lチカのコード
l=0 LED点灯
l=1 LED消灯
“=1 1秒待つ“`
10 a=0
20 a=a+1
30 l=1
40 “=1
50 l=0
60 “=1
70 #=a<10*20 80 #=300 ``` 1秒、点灯、1秒、消灯を10回。 # サンプルコード ``` import time import sys led = machine.Pin(25, machine.Pin.OUT) def ordr():# siki hyouka global Ptr, Val, C, Adr getvr()# hidari Ptr = Ptr + 2 if READB(Ptr) == ord('"'): Ptr = Ptr + 1 putlp(ord('"'))
【機械学習】データは目で確認した方がいいと思った出来事
[前回](https://qiita.com/nekot0/items/2a733d89cee8f54d486d)に引き続き、終了済の[Kaggleの画像コンペ](https://www.kaggle.com/competitions/siim-covid19-detection/overview)を使って機械学習モデルの実装を進めている。度重なるエラーを乗り越え、とりあえず1エポック回ればいいだろうと学習を回し始めた。プログラムは機嫌よく学習を進めていたのだが、50%ほど進んだところでまたエラーに遭遇し、私は絶望した。
“`
ValueError: Caught ValueError in DataLoader worker process 1.
Original Traceback (most recent call last):
File “/opt/conda/lib/python3.7/site-packages/torch/utils/data/_utils/worker.py”, line 302, in _worker_loop
data = fetch
半角全角変換モジュールのバージョン 1.1.1 をリリースしました。
Utsuho の新しいバージョン 1.1.1 をリリースしました。
Utsuho (うつほ) は、日本語の半角カタカナと全角カタカナの相互変換を提供する Python モジュールです。
– [PyPI “Utsuho”](https://pypi.org/project/Utsuho/)
– [GitHub “Utsuho”](https://github.com/juno-rmks/utsuho)
– [Read the Docs “Utsuho”](https://utsuho.readthedocs.io/ja/latest/)新しいリリースでは、バージョン 1.0.0 から、次の点を変更しています。
– スペース、記号、数字、アルファベットの半角と全角の相互変換ができるようになりました。
– Read the Docs で jQuery がうまく機能しない問題を解決しました。バージョン 1.0.0 では、カタカナに限り、半角と全角の相互変換を実現していました。しかし、Utsuho は、日本郵便の郵便番号データを始めとする日本のオープンデータに混在する半角と全角の文
ちゅらデータ菱沼さんから学ぶSQLの基本
こんにちは!
本日はいつもお世話になっているサポーターズさんが行っている技育CAMPの勉強会に参加してきました。
今回の勉強会のテーマは【初心者向け】基礎から分析までのSQLです。
講師は日本で一番データベースに詳しいちゅらデータの菱沼さんです。(すごい)
自分自身SQLは全くの初心者というわけではありませんが復習という意味では大変ためになる勉強会だったと感じています。
今回はそのまとめをしようと思います。
長かったり、Qiitaの記述に慣れてなくレイアウトが崩れてお見苦しい場面もあると思いますがご了承していただけると幸いです。
# 目次
+ SQLとは
+ SQLの種類
+ なぜSQLを使うのか
+ テーブル、行、列
+ 実際にデータを取り出してみよう
+ 比較演算子について
+ 菱沼さんのおすすめの書籍
+ まとめ
## SQLとは:::note
データベースにおいて、データを操作するための言語
・呼び方:えすきゅーえる、しーくえる
:::
### 歴史・1974年にIBMの研究所で、SEQUEL(A Structured English Query Languag
最適化フレームワーク Codable Model Optimizer を使ってポートフォリオ最適化問題を解いてみた.
## はじめに
本記事では,リクルート社で開発された最適化フレームワークである「**Codable Model Optimizer**」を使ってポートフォリオ最適化問題を解いてみました.最適化問題とは,膨大な選択肢からより良い選択を見つけ出す問題を指し,様々な解法があります.解法としては,厳密解法(主に厳密な最適解を見つけるのに使われる)やメタヒューリスティクス(厳密な最適解ではないが,大規模な問題において良い解を見つけるのに使われる)などがありますが,今回紹介する「Codable Model Optimizer」は**数理最適化のプロではなくてもITエンジニアが気軽に利用できる最適化フレームワーク**を目指し開発されたようです.
現代には様々な社会課題に最適化問題が内在しており,最適化問題を解くことはSociety5.0やDX化が進む現代においてさらに重要になってくることが予想されます.今回はそんな最適化問題の中からポートフォリオ最適化問題に着目し「Codable Model Optimizer」を使って最適化を実行してみたので紹介いたします.
「Codable Model
Django REST frameworkでAPIを作成する
# Django REST frameworkでAPIを作成する
備忘録
間違い等ありましたらご指摘いただけると幸いです## この記事を読んだら
– Django REST framework(drf)で簡単なAPIを作成できるDjangoとかdrfについての説明は省きます
## 1. 環境構築
実行環境
“`
Python 3.10.4
Django 4.1.4
rest_framework 3.14.0
“`
### 1.1. ライブラリのインストール
“`
# poetry
$ poetry add django
$ poetry add djangorestframework# pip
$ pip install django
$ pip install djangorestframework
“`### 1.2. Djangoプロジェクト作成
Djangoにはプロジェクトとアプリがあり、アプリは何かしらの処理を行うwebアプリケーションのことで、アプリをまとめたものがプロジェクトである。
プロジェクトを作成する
“`
$ django-admin
yieldについて
## リストを展開する時に、yieldという概念があることを知りまとめる。
・リストにして、出力
“`python
# sample.csvを読み込む処理
def fetch_line(filename:str):
with open(filename,”r”) as file:
lines: list[str] = []
for line in file:
lines.append(line)
return linesresult = fetch_line(“sample.csv”)
print(result)#->
実行!いけた!
3行目!
#sample.csvに書かれている内容が表示される
“`・以下はyieldを使用
“`python
def fetch_line(filename:str):
with open(filename,”r”) as file:
lines: list[str] = []
for line in file:
yield(line)result
【Django】loaddataコマンドを使用してfixturesデータをデータベースにロード(初期データを投入)する方法
# 概要
* Djangoでは、`python manage.py loaddata`コマンドを使用して`fixtures`データをデータベースにロードできます。
* これは初期データ投入時に使えます。今回は実際にやってみたので、本記事ではその方法を解説します。## 実行手順
* `fixtures`ディレクトリ内のJSONファイルを作成します。
* JSONであれば、ファイル名は必ず.json拡張子で終わる必要がありますが、JSONのほか、XMLやYAML形式でも書くことができます。
* フィクスチャ (`fixture`) とは、 テストや開発のためのサンプルデータを含むファイルです。Django のデータベースに投入できるよう準備済みのデータの集まりのことです。Djangoでは、フィクスチャを使用してアプリケーションの初期状態を構築することができます。アプリケーションの開発やテストに欠かせない便利なツールです。* 今回は、事前にマイグレーションはしてある前提とします。
* `python manage.py loaddata`コマンドを使用して、`fix
Kaggleでコピーしたノートブックのパッケージのバージョンが古すぎるときの対処法
## 結論
Notebook options の ENVIRONMENT で Always use latest environment を選択する。
![スクリーンショット 2023-04-06 221621.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/617307/34d84b28-9b88-9a24-26d9-fb3d8a9d7e9e.png)
Python3.11 + TF2.12 + GPUの環境を構築した(Windows11 + VSCode)
Tensorflowのバージョンを上げようとしたら、GPUの導入方法が結構変わっていたのでまとめました。
– 本記事のversion
– windows11
– Python3.11.3
– Tensorflow2.12.0
– GeForce RTX 3060TF2.10までの導入方法は以前の記事が使えるのでそちらを参考にしてください。
[機械学習用の環境を0から構築した(windows11 + VSCode + venv + Tensorflow + GPU)](https://qiita.com/pocokhc/items/ed2d25c5f6b63a9d11a4)
# TensorFlow2.11から `tensorflow-gpu` がなくなった
いつもGPUは `tensorflow-gpu` でインストールしていたのですが、どうやらそれがなくなったらしい。
参考:[TensorFlow2.11からはWindows用のGPU対応ビルドがpipで配布されないらしい](https://hashicco.hatenablog.com/entry/2
Azure OpenAI Service を使って OpenAPI と PlantUML からテストコードを生成する
[LLM (大規模言語モデル)](https://learn.microsoft.com/en-us/semantic-kernel/concepts-ai/) を使ったコード生成の文脈において、[「怠惰」で「短気」で「傲慢」](https://thethreevirtues.com/)な職業プログラマがまず到達したいのは、テストコードの自動生成と、そのすべてのテストケースをパスする実装コードの生成だと思います。
本記事ではテストコードの自動生成について、取り組みを紹介します。本取り組みでは、テストコードを生成するためのプロンプトの一部として、[OpenAPI 仕様](https://www.openapis.org/) と [PlantUML](https://plantuml.com/ja/) を使用します。
実装コードではなくまずテストコードの生成を試みる理由は、[テスト駆動開発](https://ja.wikipedia.org/wiki/%E3%83%86%E3%82%B9%E3%83%88%E9%A7%86%E5%8B%95%E9%96%8B%E7%99%BA) のアプ
pythonでQ-learningを実装 1/2
# Q-learningで迷路を解く
![Screen Shot 2023-04-06 at 02.12.23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3322814/b5ca983e-bd45-ed52-577d-b2ce41aeef02.png)
上記のような迷路をQ-learningで解いていきます。## やり始めたきっかけ
もともとゲーム木探索アルゴリズムで最弱オセロを作っていましたが、機械学習で作りたいと思い、DQNを使う必要がありました。そこで手始めに、簡単なQ-learningを作ってみることにしました。## 迷路のルール
– □マークは通過できない
– 何もないマスは通過できて、0.5点の失点
– ×マークのマスは、通過できて、1点の失点これらのルールをもとに、S(スタート)からG(ゴール)まで、最も失点が少ないルートを探索します。
## 迷路の環境を実装
以下、迷路の環境のコードです。後ほど解説していきます。
#Maze.py
class Di
【Python/MATLAB】点群のダウンサンプリング関数の仕様の違い
# 1.はじめに
組み込みを行う場合CやC++で記述されることが多いらしいですね。MATLABには[**MATLAB Coder**](https://jp.mathworks.com/products/matlab-coder.html)といってMATLABで記述されたコードの内容でCやC++コードを自動生成してくれるという便利な機能があります。私は組み込み方面は門外漢なのですが、以前組み込み方面の担当にPythonコードをMATLABに移行して渡すという作業をしていたことがありました。
その際に同じような動きをする関数なのに同じ入力に対して結果が異なってしまうものについて、その原因とどうしたら同じ結果を得ることが出来るのか、色々と実験してみて分かったことをここにまとめてみます。
今回は点群データのダウンサンプリングを行う関数について調査してみました。
この先長いので、まずは結論からお伝えしましょう。
## 結論
点群データのダウンサンプリングを行うPythonとMATLABで使用される関数について、PythonでもMATLABでも、点群座標のx軸の最小値、y軸の最小値の
【機械学習】WindowsでcuMLとかcuDFを使えるようにしていく【RAPIDS】
## cuMLってなんぞ
NVIDIAが提供するRAPIDSというオープンソースライブラリに含まれるSk-learnのGPU版です。
せっかくGPUがあるのでこっちを使ってみたいと思ったのですが、なんかwindowsはサポートしてないらしい・・・というわけでローカルでUbuntuを使ってcumlが使える環境を作っていきます。詳しくは↓
・[RAPIDSってなに?](https://www.slideshare.net/NVIDIAJapan/rapids-120510206)
・[Sk-learnってなに?](https://aiacademy.jp/media/?p=664)## 実行環境
OS:Windows11
CPU:Intel core i-7 12700H
GPU:GEFORCE RTX3060 Laptop(NVIDIA Pascal™ 以上があればOK)## 環境構築
[RAPIDSの公式ドキュメント](https://docs.rapids.ai/install)を参照しながら準備していきます。
#### ①WSL2とUbuntuをインストール
これはめ
pi picoでmicropython その34
# 概要
picoでmicropythonやってみた。
練習問題やってみた。# 練習問題
オセロを実行せよ。# 実行結果
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/18104/c15ba5d4-2540-127e-66c0-be57617e6a4c.png)
以上。
pi picoでmicropython その33
# 概要
picoでmicropythonやってみた。
練習問題やってみた。# 練習問題
俺言語インタープリタを実行せよ。
hello worldを表示せよ。# 実行結果
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/18104/4829493b-fe8f-2fe8-10a5-d79ea74a71a9.png)
以上。