- 1. 東京の天気情報を取得するAPIをPythonで書いてみた
- 2. 多層パーセプトロンを１から作ってみた
- 3. RabbitMQのチュートリアルを雑に日本語に訳してみた -Hello World-
- 4. 指定した領域のラスタータイルをダウンロードしたりGeoTIFFに変換してくれるPythonパッケージをPyPIで公開しました！
- 5. pythonで株価を取得するstooq版
- 6. 今日からあなたも競プロ出題者！ブラウザ上で動作するジャッジシステム OnBrowserJudge
- 7. ITパスポートの正解選択肢はランダムに決められているのか、Pythonでカイ2乗検定して確かめる part2
- 8. RealityCapure デプスマップ
- 9. Seleniumレシピまとめ【スクレイピング】【Selenium4】
- 10. Waifu Diffusionやーる（Python3.9、Windows10）
- 11. WandBでハイパラチューニングもしちゃおう！
- 12. oreoreCLIを作って最速で静的ホスティングを行う
- 13. Pythonista3 でCore ML（機械学習）入門！Vision Framework を使って画像から顔を検出する。
- 14. PythonでDeepLearningを学ぶ ～ 準備編
- 15. LaLondeデータセットに対して EConMLのDoubly Robust 推定を使って因果推論
- 16. Kaggle Titanicに初心者目線で挑戦してみた
- 17. Pythonで指定した範囲のスクリーンショットを撮る
- 18. componentTagをデフォーマーにセットする
- 19. 素人がDocker,Anaconda,Pythonを使って、Tellusから水温データとクロロフィルa濃度のデータを取得し、釣りに行くまで ”part1”
- 20. Eixirで機械学習に初挑戦⑤：「統計」と「EDA」で Kaggleランキング向上に挑む ※最新Livebook 0.8に対応
東京の天気情報を取得するAPIをPythonで書いてみた
# はじめに
Pythonで東京の天気を取得するAPIを作成してみました。
APIにはOpenWeatherという基本的に無料で使えるAPIを使用しました。https://openweathermap.org/
# コード
必要なライブラリをインポートします
“`python
from flask import Flask, jsonify
import requests
“`Flaskアプリケーションを作成します
“`python
app = Flask(__name__)
“`APIエンドポイントを作成します。
ここでは、/weatherというパスをAPIエンドポイントとして定義しています。
“`python
@app.route(‘/weather’)
def weather():
# 天気を取得する処理をここに書く
“`次に、前項の「# 天気を取得する処理をここに書く」の箇所に天気を取得する処理を記述します。
ここでは、OpenWeatherMapのAPIを使用して、東京の天気を取得しています。
“`python
@app.route(‘
多層パーセプトロンを１から作ってみた
この記事は，Pythonそのものの使い方かDeepLearningの仕組みまで，1から細かく学習した際のメモ書きとスライドのまとめです．
# 多層パーセプトロン（AND真偽値表の学習）
今回は，多層パーセプトロン（Perceptron）を用いて，AND真偽値表の出力を学習させることを目指す．AND真偽値表とは，入力の2つが共に1である時のみ1を出力するものである．
このAND真偽値表は，前回の1から学ぶDeepLearning (1) で扱ったように，単純パーセプトロンで学習ができたものであった．
今回は，多層パーセプトロンを学習することを第一の目的として，内容の同じ学習を行い，単純パーセプトロンとの違いを見てみることにする．
|x1|x2|y|
|:–:|:–:|:–:|
|0|0|0|
|0|1|0|
|1|0|0|
|1|1|1|をやるついでに、日本語版がなかったので雑に訳してみました。
言語はPythonです。:::note warn
この表示はチュートリアルの内容から脱線していることを意味します。
:::これより下がチュートリアルの雑訳です。
—
## Introduction
:::note info
前提
RabbitMQがローカルにインストールされていて、`localhost:5672`で起動していること。
異なるホストとかで起動している場合は自分で頑張って設定してね。
::::::note warn
早速少し脱線
ローカルにRabbitMQをインストールしたくない人も多いと思うので、私のおすすめとしてDocker(Docker Compose)で起動する方法を紹介します。
以下の`docker-compose.yml`を作成して`docker compose up -d`するだけで起動できます。“`yaml: docker-compos
指定した領域のラスタータイルをダウンロードしたりGeoTIFFに変換してくれるPythonパッケージをPyPIで公開しました！
:::note info
これは [MIERUNE AdventCalendar 2022](https://qiita.com/advent-calendar/2022/mierune) 22日目の記事です。
昨日は @asahina820 さんによる [Cesium for Unityを使って3D Tiles形式のPLATEAUデータを表示する](https://qiita.com/asahina820/items/14fb41cf00690d2dd15f) でした。
:::## 初めに
**ラスタータイル**、というデータ形式をご存知でしょうか？
WebGISではとてもよく利用される概念ですが、以下のように背景となる地図（画像）をズームレベルという概念に沿って倍率を変え、ズームレベルが上がるごとに地図の詳細度が上がっていきます。
pythonで株価を取得するstooq版
前回、pythonで株価を取得する記事を書いた。
https://qiita.com/tatsu_sekine/items/7d979c47177c64fb9677
しかし、yahooが落ちている、もしくはAPIの制限に引っかかる、などのことがあり使えない場合がある。そんな時でもエンジニアたるもの、代替手段を用意しておくべきだと筆者は考える。そこで今回はstooqの使用することを検討する。
前回同様、S&P500のデータを取得する。
早速だがソースコード。
“`python
import sys
import pandas_datareader.data as pdr
import pandas as pdstart = ‘2021-01-01’
end = ‘2021-12-31’
df = pdr.DataReader(‘^SPX’, ‘stooq’, start, end)print(df)
df.to_csv(‘SP500_stooq.csv’)
“`
実行結果。、[Python の例](https://nodai2hitc.github.io/onbrowserjudge/examples/collatz_python_jp.html)、[JavaScript の例](https://nodai2hitc.github.io/onbrowserjudge/examples/collatz_javascript_jp.html)
– 自由度が高く、さまざまな形式の問題が作成可能です。
– 例えば AtCoder のように標準入力・出力を用いる問題だけでなく、LeetCode のように関数を作成する問題や、事前に代入された
ITパスポートの正解選択肢はランダムに決められているのか、Pythonでカイ2乗検定して確かめる part2
## この記事の内容
ITパスポートの試験問題はア〜エの4択問題ですが、それって偏りがあったら良くないですよね。
じゃあ本当に偏ってないかどうか、統計的に確かめましょうという話。
同じ選択肢が連続で正解になることの調整がされているか、という観点で確認してみます。前回は[こちら](https://qiita.com/canid_56/private/685c2627c89234438e23)
## 仮説 : ア〜エの選択肢の出現回数はランダムだと言えるのか？
選択問題を解いていて同じ選択肢が連続すると、ちょっと不安になりますよね。（アが3回連続になってる！みたいな感じ）
それって出題側からしても同じだと思うんです。なるべく連続しないようにしようとか、逆にその真理を逆手にとって連続させようとか。
でもそんな考えでバイアスが掛かった順番にするのは公正ではないですね。（ここではそう思ってください）
そこで、**ITパスポート試験で同じ選択肢が連続で正解になる回数が、ランダムな系列と同様の分布になっているのか**調べていきます。## ランダムな系列の連続出現回数
RealityCapure デプスマップ
「instantNeRFで遊ぶ Advent Calendar 2022」の22日目です。
今日はdepth maskを使うためにRealityCaptureのdepth mapを変換する方法を検討しました。
:::note
業務外の個人的な検討活動です。
:::#### depth mask
depth mapの形式はUint16のようです。https://github.com/NVlabs/instant-ngp/issues/939
> もし問題があれば、コードの中、特にnerf_loader.cuのenable_depth_loadingのところを見ることをお勧めします。
深度マップはUINT16のpngファイルに量子化される必要があり、量子化スケールはjsonファイルの “integer_depth_scale “で設定される必要があります。このキーがjsonにない場合、depth_mapsは読み込まれません（現在）。
デフォルトでは、depth_supervision_lambdaは0に設定されているので、0 < に変更する必要があることに注意してください。
Seleniumレシピまとめ【スクレイピング】【Selenium4】
# はじめに
スクレイピングでSeleniumを使用した際に記述したコードのレシピをまとめました。Selenium4に対応しています。不備があるかもしれませんが、順次追記していきます。# パッケージのインストール
chromedriver_binaryはChromeの「設定」→「Chromeについて」でバージョンが確認できます。
“`
pip install selenium
pip install chromedriver_binary==xx.x.xxxx.xx
“`# import
“`
from selenium import webdriver
import chromedriver_binary
“`
# URLを開く
“`
driver=webdriver.Chrome()
driver.get(‘URL’)
“`# 要素の検索
以下のコードをimportに足す必要がある。
“`
from selenium.webdriver.common.by import By
“`
### クラス属性で検索
sampleというクラス名の場合以下のように
Waifu Diffusionやーる（Python3.9、Windows10）
# はじめに
Waifu Diffusionをやっていきまーす# 開発環境
– [Windows 10 PC](https://twitter.com/sotongshi/status/1317758401946947591?s=20&t=aYsoYL2ZXrVuCmO29r1wtw)– Python 3.9
# 導入
1．クローンします
https://github.com/harubaru/waifu-diffusion
2．ライブラリをインストールします
pip install -r requirements.txt
~~~requirements.txt
diffusers>=0.5.1
numpy==1.23.4
wandb==0.13.4
torch
torchvision
transformers>=4.21.0
huggingface-hub>=0.10.0
Pillow==9.2.0
tqdm==4.64.1
ftfy==6.1.1
bitsandbytes
pynvml~=11.4.1
psutil~=5.9.0
accelerate==0.13
WandBでハイパラチューニングもしちゃおう！
# WandBとは
KaggleをしているとよくみかけるWandB。WandBは機械学習の実験管理ツールで、見やすいUIで学習状況の確認をしたり実験結果をチームメンバーと共有したりできます。WandBの基本的な使い方は本アドベントカレンダー11日目に@Yu_Mochiさんがわかりやすく解説してくれているので、まだWandBの使い方に慣れていない人は[こちらの記事](https://qiita.com/Yu_Mochi/items/4fc283ebc31225d4e106)を先に読んでもらえたらと思います！
たった5行で学習結果の可視化ができるWandBですが、実はハイパラチューニングもたった3ステップでできるんです！
今回は有名なアヤメのデータセットを使って、WandBのハイパラチューニング機能（Sweep）について解説したいと思います。# STEP0 ハイパラチューニングの前に
ハイパラチューニングを始める前にWandBのインストールとログインをしましょう。
“`python
!pip install wandb -Uq
“`“`python
import wan
oreoreCLIを作って最速で静的ホスティングを行う
[3-shake Advent Calendar2022](https://qiita.com/advent-calendar/2022/3-shake)の22日目です。
## 初めに
自分は最近flutterやReactなどで作業をしている時にふと思うことがあります
GO「よし一旦できたから成果物webに上げてみるか〜」
GO「えっとS3作ってポリシー設定して成果物ドラック&ドロップして…めんどくさい」
そうなんですこの作業が毎回億劫なんです！！
え、CICDつくればいいじゃんって？さすがにそこまで構築するのはオーバーすぎる
**そうだ俺俺CLIつくろう！！**## 前提条件
– 詳しいコードの説明はしません
– Pythonを知っている方向けです## ディレクトリ構造
“`
oreorecli
├── code
│ ├── __init__.py
│ └── core.py
└── setup.py
“`### それぞれのファイルの説明
#### code/core.py
ここはCLIで動かしたい実際の処理を記述します。
今回はここでは下記のような
Pythonista3 でCore ML（機械学習）入門！Vision Framework を使って画像から顔を検出する。
この記事は、[Pythonista3 Advent Calendar 2022](https://qiita.com/advent-calendar/2022/pythonista3) の22日目の記事です。
https://qiita.com/advent-calendar/2022/pythonista3
一方的な偏った目線で、Pythonista3 を紹介していきます。
ほぼ毎日iPhone（Pythonista3）で、コーディングをしている者です。よろしくお願いします。
以下、私の2022年12月時点の環境です。
“`sysInfo.log
— SYSTEM INFORMATION —
* Pythonista 3.3 (330025), Default interpreter 3.6.1
* iOS 16.1.1, model iPhone12,1, resolution (portrait) 828.0 x 1792.0 @ 2.0
“`他の環境(iPad や端末の種類、iOS のバージョン違い)では、意図としない挙動(エラーになる)なる場合もあ
PythonでDeepLearningを学ぶ ～ 準備編
# はじめに
本稿は[システムアイ Advent Calendar 2022 ](https://qiita.com/advent-calendar/2022/systemi22) 22日目の記事になります。
過去少しだけ業務でDeepLearningにかかわったこともあり、改めて自分でも勉強しながら、PythonによるDeepLearningのプログラムについて、紹介していきたいと思います。
今回は、準備編と称して、DeepLearningの概要、Python環境の準備、および、サンプルコードの実行までを記載します。# DeepLearning概要
我々はエンジニアであって研究者ではないので、DeepLearningの詳細を理解する必要はありません(そもそも無理～)。なので、ここではDeepLearningの実装に
LaLondeデータセットに対して EConMLのDoubly Robust 推定を使って因果推論
# はじめに
前回書いた記事[LaLondeデータセットに対し傾向スコア（IPW）をPythonで実装して因果推論](https://qiita.com/shinji_komine/items/2216e948ea356bc9c37b)では、就労支援の効果に関する（人為的に作り出した）観察データであるLaLondeデータセットに対して、傾向スコアによる逆確率重み付き推定（IPW）で因果効果を推定しました。このデータでは対照群のデータ件数が多い不均衡データであるため、対照群のサンプルは大半が0に近い傾向スコアとなり、これの逆数である重みはわずかな誤差で不安定となってしまうことが原因でした。
今回は、傾向スコアとIPWを使った手法の発展形である **Doubly Robust** 推定を実施してみます。この推定をPythonで実施する際には、MicroSoftが提供しているライブラリ `EconML` を使います。初めにDoubly Robust 推定について説明して、それからEConMLを使って実際に就労支援の効果を推定します。
前回説明したので、今回はLaLondeデータセットなど
Kaggle Titanicに初心者目線で挑戦してみた
# [Kaggle](https://www.kaggle.com/c/titanic/data)とは
Kaggleは、データサイエンスや機械学習に特化したオンラインプラットフォームです。Kaggleでは、データセット、カーネル（Jupyter NotebookやPythonスクリプトなど）、およびモデルを公開して共有することができます。また、Kaggleには、多くのコンペティションも開催されており、参加者は、特定のタスクや問題に対して最も優れたモデルを提供することで、報酬や賞品を獲得することができます。kaggleの初心者向けのチュートリアルとして用意されている[Titanic](https://www.kaggle.com/c/titanic/data)を題材にします。
# 筆者の経験値と想定する読者
[Kaggleのチュートリアル第６版](https://www.amazon.co.jp/Kaggle%E3%81%AE%E3%83%81%E3%83%A5%E3%83%BC%E3%83%88%E3%83%AA%E3%82%A2%E3%83%AB%E7%AC%AC%EF%BC%
Pythonで指定した範囲のスクリーンショットを撮る
# 概要
みんな大好き大乱闘スマッシュブラザーズ(以下スマブラ)！！
私事ながら，スマブラ配信をしています．[チャンネル登録お願いします！](https://www.youtube.com/channel/UCKys_FIMcKfIn5L4HOyy0vQ)
スマブラ×機械学習でなんかできないかなー，と思っていたところこんな記事を発見しました．
[画像認識でスマブラの戦績を自動で作成するツールを作ろう](https://note.com/kelp168/n/nf717de3a2d22)最終的に何を作るかは置いといて，面白そうだしとりあえずやってみよう！
配信画面からスマブラのスクリーンショットを撮る→画像認識でなんかする
ざっくりこんな感じで進めます．
今回の目標は範囲を指定してスクリーンショットを撮ることです．
配信画面全体ではなく，
わかりやすくアトリビュートがおりました
デフォーマーの方は
anacondaで仮想環境を構築していざ挑戦！と思っていたのもつかの間…んー…必要なモジュールのインストールの時点でWindowsに対応してないし…
調べれば調べるほど、バージョンの問題やら競合やら色々出てきて結局動かず…いっそのことDockerを使ってcentos7の仮想環境上で試してみようと思う。
Dockerを使うこと自体は初めてではないのだが、以前知り合いに導入してもらった、たった一つの環境を擦り切れるほど使っていた。
だが今回、初めてDockerを一から操作して、仮想環境を構築することを決意。備忘録を残せば、あとで見返せる＆outputもできて記憶に留めることができると聞いたことがあるので、ブログにも初めて挑戦する。
Eixirで機械学習に初挑戦⑤：「統計」と「EDA」で Kaggleランキング向上に挑む ※最新Livebook 0.8に対応
この記事は、[Elixir Advent Calendar 2022](https://qiita.com/advent-calendar/2022/elixir) 7の21日目です
昨日は、@t-yamanashi さんで[「Elixirを使ってNeosVRで花火を打ち上げる 〜ブラウザーからVRのオブジェクトをいじる〜」]()でした
—
[piacere](https://twitter.com/piacere_ex) です、ご覧いただいてありがとございます :bow:
この2年間で、Elixirの機械学習環境が凄まじく発展し、プロダクションに実戦投入しても問題無いフェーズに入ったので、「Eixirで機械学習に初挑戦」をテーマにシリーズコラムをお届けします
入門者向けに「機械学習とは何か？」や、機械学習の中で出てくる数々のキーワード解説もしていきますので、AI・MLの知識が無いWeb開発者／IoT開発者の方や、PythonでAI・MLを学んだけどイマイチ入らなかった方、Elixir経験者だけどNx／Axon／Livebook等の新テクノロジーに追いつけていない方にも、
