- 1. 個別のcsvファイルから列を抜き出して一つの表にする
- 2. 【脱エンジニア初心者への道】動画で学ぶPython3エンジニア認定基礎試験（合格体験記）
- 3. 機械学習、Python、GridDBを用いた脳卒中疾患の予測
- 4. test
- 5. GridDBを用いたBMIの健康調査データ解析
- 6. pycordでボイスチャンネルに接続するdiscord botを書いてみた
- 7. Python,JavaScript,PHP,Ruby,Perlの入門の比較
- 8. Pythonチュートリアル（第４版）4章 制御構造ツール
- 9. Streamlitでスプレッドシートにログを出力する
- 10. 仏教での「慈悲の瞑想」を[for文を使った関数]で処理する
- 11. 【無限の猿定理】ルービックキューブを猿に解かせてみた
- 12. Codeforces Round #813 (Div. 2), A, B, C問題をPythonを使って解く
- 13. ユークリッド距離以外でKMeansクラスタリング
- 14. 【Python】競プロ用テンプレート（VS Codeユーザースニペット機能）
- 15. Pythonで画像をメモリ上でJPEG圧縮・展開する（たぶん）正しい方法
- 16. VSCode Ubuntu22.04に公開鍵認証でSSH接続してリモート開発する Windows
- 17. Pythonチュートリアル（第４版）3章 気楽な入門編
- 18. メーカー勤務・文系の私がProphetで株価予測してみた（Optuna）
- 19. 気象庁の過去の気象データをスクレイピングしてPostgreSQLにINSERTしてみた
- 20. Great Expectations（GE） によるノートブック型環境（Databricks）でのデータ品質保証方法のまとめ
個別のcsvファイルから列を抜き出して一つの表にする
### for文を用いて表を作る
###### 自分用の備忘録です。もし参考になる方がいればコピペしてください！
モチベーション：たくさんの個別ファイルにcsvファイルが格納されている。その中で必要なcolumnのみを抜き出して新たに表を作りたい
例：ファイル1, ファイル2, ・・・と各ファイルに患者データが入っている。例えばファイル1には患者番号0001のデータが下記のように格納されている。
| Genes | Mutation Type |
| —- | —- |
| TP53 | Missense |
| KRAS | None |
| EGFR | deletion |これを各患者について集めて下記のような表を作りたい
| PatientID | TP53 | KRAS | EGFR |
| —- | —- | —- |—- |
| Patient0001 | Missense |None |None |
| Patient0002 | None |Indel
【脱エンジニア初心者への道】動画で学ぶPython3エンジニア認定基礎試験（合格体験記）
# はじめに
はじめまして。今回、Python3エンジニア認定基礎試験を800/1000点（合格点が700点）で合格することができたので、私の勉強方法について紹介したいと思います。
#### まず簡単に私の自己紹介と題して
◆新卒でエンジニアとして働いている
◆プログラミングの経験はこれまでなく文系大学出身でした文系出身ですという言葉、事実ではあるのですが、言い訳みたいであまり好きではないんですよね、今後この保険をかけなくても胸を張って「職業エンジニアです。（ﾄﾞﾔｯ）」とシンプルでかっこいい自己紹介ができるような技術を身に着けていきたいな～と思っております。
#
では、本題に戻りたいと思います。タイトルにもある通り、私は主に動画教材を利用して試験勉強を進めていきました。
動画教材はスキマ時間に端末1つで簡単に勉強が出来たり、何を行うべきかわからないという方に非常におすすめできる勉強方法であると思います。
以下、順番に紹介をしていきます。
# ①試験日を決める
いきなり勉強方法じゃないのかよと思う方もいるかもしれませんが、まずはこちらから始めることをおすすめし
機械学習、Python、GridDBを用いた脳卒中疾患の予測
脳卒中は、脳からの血流および脳への血流が途絶えることによって起こる重篤な脳血管障害です。脳が正しく機能するための酸素と栄養を受け取ることができなくなります。逆に、脳は死んだ細胞のような老廃物をすべて排出することができません。数分後には、脳細胞が死滅し始めるので、脳は危機的な状況に陥ってしまうのです。
[米国脳卒中協会 (American Stroke Association)][1] は、脳卒中は米国における死亡および身体障害の原因の第5位であることを示しています。この為、脳卒中は重篤な疾患とされ、医療分野だけでなく、データサイエンスや機械学習の研究でも盛んに研究が行われています。本稿では、PythonとGridDBを用いて、患者の記録が与えられた脳卒中疾患を予測する機械学習モデルを提案します。
## 環境の設定
この記事で紹介するソリューションを実現するため、まずは紹介するコードを正しく実行するためにマシンに正しい環境を設定することから始めます。ここでは、環境に設定する必要がある要件をいくつか紹介します。
* **Windows 10** : メインOSとしてWindow
test
すぐ消します。
“`simple_slam.launch
GridDBを用いたBMIの健康調査データ解析 ## はじめに
BMI（Body mass index）とは、身長に対する体重の比率で、多くのフィットネストレーナーや健康専門家の間で健康指標として利用されています。人は性別とBMIによって、普通、過体重、肥満、超肥満に分類されます。
今回は、全米健康・栄養調査（NHANES）データを用いて、様々な健康指標とBMIを相対化します。[全米健康・栄養調査（NHANES）][1]データは、米国の大人と子供の健康と栄養状態を評価するために、何万人もの人を対象に行われた複雑な調査です。NHANESデータには、健康全般、身体活動、食事、心理的健康、社会経済的要因などに関する多くの測定値が含まれています。
## GridDBを使ったデータセットのエクスポートとインポート
NHANESの前処理された大量のデータを保存するために、GridDBを使用する予定です。GridDBは、高いスケーラビリティとインメモリNoSQLデータベースで、並列処理により高いパフォーマンスと効率性を実現します。IoTやビッグデータ技術に対応した時系列データベースとして最適化されています。GridDBのpythonクライ
pycordでボイスチャンネルに接続するdiscord botを書いてみた
仕事などでdiscordでミーティングしている時、「予定していた時間を過ぎても参加者が居たらアラート音声を再生するbotとかあったら便利では？」と思ったので、ざっくりと作った過程の覚書。
discord botを作るためのPythonライブラリは何がいいのか調べたが、[pycord](https://docs.pycord.dev/en/master/)が良さそうだったのでこれに決定。
決定理由及びpycordの導入については下記の記事を参考にした。* https://qiita.com/melonade/items/25c038e8e4e6800aa639
discord bot自体の準備については下記を参考にした。
* https://discordpy.readthedocs.io/ja/latest/discord.html
## 実装
“`python:timer-bot.py
import asyncio
import sysimport discord
from discord.commands import Option
bot = discord.
Python,JavaScript,PHP,Ruby,Perlの入門の比較
Python,JavaScript,PHP,Ruby,Perlの入門の比較
# Python
https://qiita.com/ponnhide/items/870f0e6b1ae50f201f07
# JavaScript
https://qiita.com/ab-boy_ringo/items/23f60e051e3022f2a599
# PHP
https://qiita.com/mackeyTA/items/069900b5c2366fb30e3a
# Ruby
https://qiita.com/oekazuma/items/6daa19248353c6a81146
# Perl
https://perlzemi.com/
Pythonチュートリアル（第４版）4章 制御構造ツール
# はじめに
Pythonエンジニア認定試験に興味をもったので、
Pythonチュートリアル（第4版）をひたすら写経していきたくなったので、
写経したいと思います。（コード部分のみ）
ただし、プロンプト表記のところは全部pyファイル化して書きなおします。
今回は4章部分のみです。# 4章 制御構造ツール
## 4.1 if文
“`python
x = int(input(“整数を入れてください:”))# 整数を入れてください:42
# もっと
if x < 0: x = 0 print('負数はゼロとする') elif x == 0: print('ゼロ') elif x == 1: print('1つ') else: print('もっと') ``` ## 4.2 for文 ```python words = ['cat', 'window', 'defenestrate'] # cat 3 # window 6 # defenestrate 12 for w in words: print(w,len(w)) users
Streamlitでスプレッドシートにログを出力する
# 目次
1. Streamlitについて
1. 目的
1. 方法
1. おまけ
1. おわりに# Streamlitについて
Streamlitは、Pythonだけで簡単にWebアプリケーションを作成できる強者です。
遊び心もあって素敵です。
公式ドキュメントは[こちら](https://streamlit.io/)# 目的
Streamlit, 実はデフォルトでLoggerが用意されています。でも、これは管理者画面のコンソールにつらつら吐き出されるだけなので少しみづらいです。(自分が良い方法を知らないだけかもしれないけど…)
必要な情報のみ、スプレッドシートに出力できたらいいのに…
と思っていたら、とうとうできました！
いろんなサイトを見ながらやったので、備忘録的にまとめておきたいと思います。
(間違いがあれば指摘していただけると嬉しいです)# 用意するもの
– アカウント
– Github: Streamlitアプリをデプロイするため
– Streamlit:Streamlitアプリをデプロイするため
– Google: GCS
仏教での「慈悲の瞑想」を[for文を使った関数]で処理する
仏教には「慈悲の瞑想」と呼ばれる、生きとし生けるものの幸せを祈る瞑想があります。
https://ja.wikipedia.org/wiki/%E6%85%88%E6%82%B2%E3%81%AE%E7%9E%91%E6%83%B3
https://j-theravada.net/world/metta/
ここでは日本テーラワーダ仏教協会の言葉を引用します。
:::note info
私は幸せでありますように
私の悩み苦しみがなくなりますように
私の願いごとが叶えられますように
私に悟りの光が現れますように
私は幸せでありますように（３回）私の親しい生命が幸せでありますように
私の親しい生命の悩み苦しみがなくなりますように
私の親しい生命の願いごとが叶えられますように
私の親しい生命に悟りの光が現れますように
私の親しい生命が幸せでありますように（３回）生きとし生けるものが幸せでありますように
生きとし生けるものの悩み苦しみがなくなりますように
生きとし生けるものの願いごとが叶えられますように
生きとし生けるものに悟りの光が現れますように
生きとし生けるものが幸せであり
【無限の猿定理】ルービックキューブを猿に解かせてみた
# はじめに
無限の猿定理をご存知だろうか。wikipediaによると、以下の通りである。
>無限の猿定理（むげんのさるていり、英語: infinite monkey theorem）とは、十分長い時間をかけてランダムに文字列を作り続ければ、どんな文字列もほとんど確実にできあがるという定理である。
(中略)
ここではそのような厳密な議論には立ち入らず、この定理の言わんとすることを初等的に考察してみる。話を簡単にするため、タイプライターのキーがちょうど100個あるとする (この数は実際のキー配列での数に近い)。例えば「monkey」という1単語からなる文章は全部で6文字あるので、ランダムにキーを叩いて、「monkey」とタイプされる確率は、
“`math
{\displaystyle {\begin{aligned}{\frac {1}{100}}\times {\frac {1}{100}}\times {\frac {1}{100}}\times {\frac {1}{100}}\times {\frac {1}{100}}\times {\frac {1}{100}}&=\lef
Codeforces Round #813 (Div. 2), A, B, C問題をPythonを使って解く
## 初めに
こんにちは。この記事では先日(2022/08/13)行われたCodeforces Round #813 (Div. 2)のA, B, C問題の解説をPython3を用いてしていきます。Codeforcesは解説がAtCoderほど十分にないこと、そもそもPythonを使って解いている人も少ないことから、自身の解法とコードを共有しようと考えました。解説はコンテスト中に解けた問題＋1問のみとしています。宜しくお願いします。### コンテストへのリンク
[Codeforces](https://codeforces.com/) \
[Round #813 (Div. 2)](https://codeforces.com/contest/1712)– [初めに](#初めに)
– [コンテストへのリンク](#コンテストへのリンク)
– [Problem A Wonderful Permutation](#problem-a-wonderful-permutation)
– [問題文](#問題文)
– [入力](#入力)
– [出力](#出力)
– [解法
ユークリッド距離以外でKMeansクラスタリング
## 環境
– Python 3.7.13
– scikit-learn 1.0.2
– nltk 3.7## scikit-learn で KMeans
PythonでKMeansクラスタリングしたいとき、**scikit-learn** を使うのがポピュラーなのではないかと思います。https://scikit-learn.org/stable/modules/generated/sklearn.cluster.KMeans.html
“`python
import numpy
from sklearn.cluster import KMeansdata = numpy.array([1,2,3,10,11,21,22,23])
KMeans(n_clusters=3).fit_predict(data.reshape(len(data), 1))
“`“`:出力
array([2, 2, 2, 0, 0, 1, 1, 1], dtype=int32)
“`scikit-learnのKMeansはユークリッド距離（euclidean distance、
【Python】競プロ用テンプレート（VS Codeユーザースニペット機能）
**競プロ**のコンテストに参加するときに使っている**Pythonのテンプレート**（スニペット）です
小文字大文字など好みがあると思うので、使いやすいように修正して使ってください
## VS Codeのユーザースニペット機能
こちらの記事で丁寧に説明されていますhttps://qiita.com/12345/items/97ba616d530b4f692c97
## スニペットファイル
“`:python.code-snippets
{
“n=in”: {
“prefix”: “n=”,
“body”: “n=int(input())”,
},
“k=in”: {
“prefix”: “k=”,
“body”: “k=int(input())”,
},
“m=in”: {
“prefix”: “m=”,
“body”: “m=int(input())”,
},
“n,m=”: {
“prefix”: “n,m=”,
“body”: “n,m=map(int,input().split())”,
},
“h,w=”: {
Pythonで画像をメモリ上でJPEG圧縮・展開する（たぶん）正しい方法
# まえがき
pytorchでの学習では画像をnp.ndarrayなどの形式で読み込んだあとに，並進・回転・ガウスノイズ付加など，様々な変換をデータ拡張で行います．
その一つにJPEGで圧縮してブロックノイズを付加するというものがあります．データ拡張用のライブラリであるimgaugやalbumentationsでも実装されています．
https://albumentations.ai/docs/api_reference/full_reference/#albumentations.augmentations.transforms.ImageCompression
https://imgaug.readthedocs.io/en/latest/source/overview/arithmetic.html?highlight=jpeg#jpegcompression
これが，メモリ上でJPEG圧縮をやってくれているとばかり思っていたのに，一旦ディスクに保存するというコードになっていた（だから遅い），ということが発覚．
これはその顛末と対策です．
## imgaugのJpe
VSCode Ubuntu22.04に公開鍵認証でSSH接続してリモート開発する Windows
## 概要
Windowsの作業用PCのVSCodeを使って、Ubuntu22.04に公開鍵認証でSSH接続してリモート開発できるようにします。Ubuntu22.04に公開鍵認証でSSH接続できている前提の記事になります。背景としては、Django+DRFでAPIサーバを作りたく、作業効率アップのためです。https://qiita.com/lustm5/items/63433815780606c426ab
環境
Windows10 Pro
Ubuntu22.04 IP 192.168.88.15 仮想マシン## 手順1 VSCodeをインストール
インストール済みの場合は手順2へ。
[ここ](https://code.visualstudio.com/download)にアクセス。クリックしてダウンロード。
このチェックを入れるとこ
Pythonチュートリアル（第４版）3章 気楽な入門編
# はじめに
Pythonエンジニア認定試験に興味をもったので、
Pythonチュートリアル（第4版）をひたすら写経していきたくなったので、
写経したいと思います。（コード部分のみ）
ただし、プロンプト表記のところは全部pyファイル化して書きなおします。
今回は3章部分のみです。# 3章 気楽な入門編
## 3.1 Pythonを電卓として使う
### 3.1.1 数値
“`python
a = 2 + 2
b = 50 – 5*6
c = (50 – 5*6) / 4
d = 8 / 5# 4 20 5.0 1.6
#
print(a, b, c, d)
print(type(a), type(b), type(c), type(d))e = 17 / 3
f = 17 // 3
g = 17 % 3
h = 5 * 3 + 2# 5.666666666666667 5 2 17
#<
メーカー勤務・文系の私がProphetで株価予測してみた（Optuna）
# はじめに
はじめまして。
文系大学出身、メーカー勤務で営業をしている私が今回時系列データの分析に挑戦してみました。
初心者で時系列データ分析やProphet気になるなって方、是非読んでみてください:relaxed:# 目次
* [きっかけ](#きっかけ)
* [概要](#概要)
* [実行環境](#実行環境)
* [Prophetとは](#prophetとは)
* [Optunaとは](#optunaとは)
* [全体の流れ](#全体の流れ)
* [インストールとインポート](#インストールとインポート)
* [銘柄の確認](#銘柄の確認)
* [データを取得・確認](#データを取得確認)
* [全体像をつかむ](#全体像をつかむ)
* [Prophet(デフォルト値)で予測](#prophetデフォルト値で予測)
* [Optunaでベストパラメーターを導きだす](#optunaでベストパラメーターを導きだす)
* [MAPE(平均絶対パーセント誤差)](#mape平均絶対パーセント誤差)
* [パラメーターごとの比較](#パラメーターごとの比較)
* [最後に](#最後に)
気象庁の過去の気象データをスクレイピングしてPostgreSQLにINSERTしてみた
# はじめに
## やること
– 気象庁の1日ごとの気象データをスクレイピングする
– 取得したデータをPostgreSQLのDBにINSERTする
– 取得するデータは2007年～2021年、全国の観測地点でデータがあるところ
## 環境等
– プログラミング言語: Python3.10
– DBサーバ: Amazon AWS RDB
– 実行環境: Amazon AWS EC2
– スクレイピングするライブラリ: BeautifulSoup## 参考にした情報
制作にあたり、以下の記事と記載のコードを参考にさせていただきました。
– [GoogleColaboratoryで気象庁の過去気象データをスクレイピングしてみた。](https://qiita.com/Cyber_Hacnosuke/items/122cec35d299c4d01f10)
– [気象データの観測地点一覧 （2017年3月時点）](http://k-ichikawa.blog.enjoy.jp/etc/HP/htm/jmaP0.html)## やろうと思ったきっかけ
私は写真が趣味で
Great Expectations（GE） によるノートブック型環境（Databricks）でのデータ品質保証方法のまとめ
## 概要
本記事にて、Great Expectations（GE） によるノートブック型環境（Databricks）でのデータ品質保証方法を共有する。GE がツールの概要を提示した上で、コードとその実行結果を提示する。## Great Expectations とは
Great Expectations (GE) とは、データに対する検証、ドキュメント化、および、プロファイリングにより、データ品質の保証と改善を支援する OSS の Python ライブラリである。データに対する品質保証条件（GE では Expectations と呼ぶ）に基づき、データソースへの検証を行い、検証結果をドキュメント化することができる。
引用元：[Welcome | Great Expectations](https://docs.greatexpectati
