Python関連のことを調べてみた2022年04月01日

StreamlitでWEBアプリケーション開発～基本的な使い方を学ぶ～

# はじめに

この記事では、[Streamlit](https://www.streamlit.io/) を使ってWEBアプリケーションを作成するための手順を大まかに解説します。
Streamlitを使うことで、Pythonを使って非常に簡単にWEBアプリケーションを作成することができます。
今回はコードを実際に動かして、Streamlitの基本的な使い方を学ぶことを目的とします。
使用したコードは [こちら](https://github.com/masachika-kamada/streamlit_qiita) のリポジトリにあります。

# 開発環境作成

1) [Anaconda](https://www.anaconda.com/products/individual)とお好みのエディタをインストール
2) Anaconda Promptで（仮想環境を作成して）Streamlit をインストール

```terminal
pip install streamlit
```

# Streamlitを使ってみる

ひとまずSteamlitを使ってみましょう。
以下のプログラム

【OpenCV+matplotlib】画像の重心と慣性主軸を表示する方法

# 概要
OpenCVとmatplotlibで画像の重心と慣性主軸をプロットする方法を紹介します。
画像の重心と慣性主軸の表示するのに関連する記事が少なかったため、備忘録も兼ねて記事にしました。
Google Colabで作成したコードは、[こちら](https://colab.research.google.com/drive/12p7g-DXo1XoKvlW5hbKbKSm4G1X7F_MG?usp=sharing)にあります。

# 重心と慣性主軸
画像の重心と慣性主軸は、画像のモーメントを使って表すことができます。画像のモーメントの定義については、[cv::Moments Class Reference](https://docs.opencv.org/3.4/d8/d23/classcv_1_1Moments.html)を参照されたい。
画像の重心は、
```math
x = \frac{m_{10}}{m_{00}},\ y = \frac{m_{01}}{m_{00}}
```
と表される。
画像の慣性主軸は、重心を通りその傾きを$\tan \theta$とすると
```

【トリビアのDelta Lake】#2 Pysparkでゼロパディングを解除する

# Pysparkで、邪魔なゼロを消したい

ゼロパディングというのをご存知でしょうか。桁数が違うデータを、任意の数までゼロで埋めて桁数を揃えてやる、アレです。
サンプルのデータはこんな感じ。
```
sample_data = [{'name': 'Alice',"age": '0002',},
{'name': 'Bob',"age": '0050'}]

df = spark.createDataFrame(sample_data)
df.show()

【結果】
+----+-----+
| age| name|
+----+-----+
|0002|Alice|
|0050| Bob|
+----+-----+
```
2歳のアリスちゃんと、50歳のボブおじいさんという2列のごく簡単なSparkデータフレーム。
よく見ると、それぞれの年齢がゼロで埋められて4桁に統一されています。

これをPysparkで解除するなら、どうしましょうか。

# 単なる「ゼロ削除」ではダメ
「ゼロを消せばいいじゃん」と、前回の記事と同じコマンドを使うと…

ht

Python を使用して Azure Database for MySQL に接続してデータ操作してみました

## 概要

MySQLサーバの操作コマンドの確認と、Python を使用して Azure Database for MySQL に接続してデータ操作するプログラムの簡単な紹介です。

### ローカル環境

macOS Monterey 12.3
python 3.8.12
Azure CLI 2.34.1
mysql Ver 8.0.28 for macos12.2 on x86_64 (Homebrew)

### 前提条件

1. Azure環境がすでに用意されていること（テナント/サブスクリプション）
2. ローカル環境に「azure cli」がインストールされていること
3. ローカル環境に「mysql」がインストールされていること

### 事前準備

1. Python 用 MySQL コネクタのインストール

```
pip install mysql-connector-python
```

２. [この記事](https://qiita.com/turupon/items/0ce9dfaf3df3c39e5111) を実行し、Azure Database for

プログラミング (Python) で作曲してみた

# はじめに

本日（3月31日）は、バッハの誕生日！
ということで、Megenta の Polyphony RNN を使えば、バッハ風の曲を誰でもつくることができます。なので、Pythonでヴァンパイアという曲を学習させて、クラシック調（バッハ風）のオリジナル曲に挑戦してみました。

# プログラム

Google Colab で触れるようにしていますので、良ければご活用ください
https://colab.research.google.com/github/TakayukiNJ/vanpireBach/blob/main/vanpireBach.ipynb

YouTubeでの解説：https://youtu.be/bnilVY-H5xE
※ 2021年4月1日18時に公開

## GANSynth で音色を変えてみる

まずは使用するライブラリのインストール

```python
!apt-get update -qq && apt-get install -qq libfluidsynth1 fluid-soundfont-gm build-essential libaso

pythonのインタプリンタで四則演算する

## はじめに
プログラミング初心者が最初にやるお試し計算の記録です
## ゴール
pythonのインタプリンタで四則演算を行い解を表示する
## 手順
```:足し算
>>> 5 + 5
10
```

```:引き算
>>> 50 - 5
45
```

```:掛け算
>>> 10 * 10
100
```

```:割り算
>>> 100 / 10
10.0
```

## 終わりに
足し算引き算掛け算は整数表示（int型）になるが、割り算の場合は必ず小数点表示(float型)になる。

【IBM/coursera】IBMのデータサイエンス専門家コース(11ヶ月)を正答率100％で修了した話。

# はじめに　
courseraというオンライン教育プラットフォームで開催されていたIBMによるデータサイエンスコースを受講しました。完全オンライン性で、自分のペースで進められ、とても有意義でした。初心者向けということもあり推定11ヶ月のコースでしたが、2週間で修了する事ができました。ので、その時の経験についてまとめようと思います。

# Overview
今回私が修了したデータサイエンス専門家コースですが、10個の小さいコースが集まっている物になります。それぞれの小コースを修了するたびに修了証書が配られ、全てのコースを修了するとこの様な修了証書がもらえます。左の10coursesの欄に記載されているのが今回受講した小コースになります。


#### 受講した10コース

【AtCoder解説】PythonでABC245のA,B,C,D問題を制する！

**ABC245**の**A,B,C,D問題**を、**Python3**でなるべく丁寧に解説していきます。

ただ解けるだけの方法ではなく、次の3つのポイントを満たす解法を解説することを目指しています。

- シンプル：余計なことを考えずに済む
- 実装が楽：ミスやバグが減ってうれしい
- 時間がかからない：パフォが上がって、後の問題に残せる時間が増える

ご質問・ご指摘は**コメント**か**ツイッター**、**マシュマロ**、Discordサーバーまでお気軽にどうぞ！

**Twitter: [u2dayo](https://twitter.com/u2dayo)**
**マシュマロ： https://marshmallow-qa.com/u2dayo**
**ほしいものリスト: https://www.amazon.jp/hz/wishlist/ls/2T9IQ8IK9ID19?ref_=wl_share**
**Discordサーバー（質問や記事の感想・リクエストなどどうぞ！） : https://discord.gg/jZ8pkPRRMT**
よかったら**LGTM**や*

単方向リンクリストを学ぶ -Python-

## 単方向リンクリストとは？
単方向リンクリストとは連結リストの一種で、各Nodeが自分自身のデータと隣の要素のリンクを持っており、先頭から最後尾までがリンクでつながっているのが特徴です。

ここでいうリンクというのは次の要素の位置情報(メモリ)を意味しています。

単方向リンクリストは、次の要素のリンクを持っているので先頭から順に最後尾までアクセスすることができます。
そのため逆方向へのアクセスはできません。

自身のデータと前と後ろのリンクを持っており、逆方向へもアクセスできるリストは双方向リンクリストと言われます。

## 単方向リストを学ぶ理由

単方向リストを学ぶ理由は自分も学習していて、疑問に思っていました。
基本的に仕事をしていて使うのは「配列」であり、このデータ構造を理解することに何の意味・メリットがあるのか・・・

低レベルな話になりますが、メモリの使い方とデータ構造への理解→表現する幅が広がることです。
データ構造の中でNodeに対して、データとリンク先を持っていれば正直どんなデータ構造もできますよね。
輪のような構造やメッシュ状の構造などができるようになるのでい

［Python］複雑な大量のファイルを処理したい

# やりたいこと
- Python でこんなファイルを処理したい
- 同じようなファイルがめちゃある

# サンプルファイル
- ひとつのセルに、長々しいデータが入っている。

# Step
```
# パスを変数に入れる
path = "abc/def"
file_list = glob.glob(path + "/test.csv)

# 空のデータフレームを作成
df_cp_memory = pd.DataFrame()
for file in file_list:
# スラッシュで区切る
df2 = pd.read_csv(file, header=None , sep='/' )
　　# 空のデータフレームに、フ変数にいれたファイルを入れていく
　　# 一つ大きなテーブルができる
df_cp_memory = pd

［Python / SQL］CSVファイルを読み込んだあと、SQLで確認する

# やりたいこと

- CSVファイルをデータフレームで読み込んだ後、SQLで出力する

# サンプルデータ


# Step １
- CSVファイルを読み込む
```
%pyspark
import pandas as pd
# Hadoppにあるファイルを読み込む
df_csv = pd.read_csv('test.csv', sep=',' )
# python から sparkにに変換したものをテーブルにいれる
# create みたいなの使ってた
print(df_csv)

# pandas dataframe を spark dataframeに変換
df=spark.createDataFrame(df_csv)

# sqlで使えるように一時テーブルとして登録
df.createOrReplaceTempView('te

ヱヴァンゲリヲン新劇場版:序のシンジのセリフをテキスト感情分析して心情の変化を可視化する

　エヴァンゲリオンシリーズを文字起こししているサイトを見つけたので、そこからヱヴァンゲリヲン新劇場版:序のシンジのセリフを抜き出して、それを感情分析にかけてシンジの心情の変化を可視化してみようと思います。

　使用したサイトは以下になります。

https://36ch.com/evangelion/eva_shin/eva_shin1/

　まずは、ここからシンジのセリフのみを抜き出します。結構、手間がかかるので、興味のない作品だったら結構シンドイと思います。

　抜き出したものはeva_shinji.txtに保存します。ネタバレや著作権等もあるので、抜き出した内容についてはここでは触れません。

### 感情分析について

　感情分析にはいろいろなライブラリやサービスがありますが、今回は手軽に使えて否定句も判定してくれるpythonのライブラリosetiを使ってみようと思います。

　osetiのについては作者が書いた以下の記事を参考にしてみて下さい。

https://qiita.com/yukinoi/items/46aa016d83bb0e64f598

　ちなみに私も感情極

GIF データを確認する

# デバッグ用のツール

GIF ファイルの[データ形式](https://qiita.com/ikiuo/items/69de0087e358a2ec6949)は難しいものではないので、ライブラリ等を用いなくても作る事が比較的容易です。すると、作った GIF ファイルの状態を確認したくなります。そのためのツールです。

```python:gifdump.py
#!/usr/bin/env python3

INDENT = ' ' * 4

def read8(fp):
return fp.read(1)[0]

def read16(fp):
l, h = fp.read(2)
return (h << 8) | l def print_header(fp): SIGNATURE = b'GIF' VERSION = (b'87a', b'89a') signature = fp.read(3) if signature != SIGNATURE: raise Exception('%s: sign

Amazon Sagemaker ~trainingからCompileまで~

## 概要

* AWSのSagemakerを使ってモデルをトレーニングし、Compileまでやってみる！

## はじめに
AWSのSagemakerを勉強した機会があったので、せっかくだからまとめたいなと記事に起こしました。
意外とCompileまで説明している人は少なかったので、AWS IoT GreenGrassを使う人とかの参考になればなと思います。

## 実験環境
* Amazon SageMaker Notebooks
* Tensorflow Keras

## Sagemakerとは？
Sagemakerとは何なのかということは他のサイトで詳しく解説されていますので、具体的なことは割愛して、
簡単に言うと、**機械学習の諸々の処理をクラウド上で行うためのツール**みたいなものです。
例えば、アノテーション、モデルの学習推論、コンパイルなどをSagemaker上だけで行うことができます。
本記事では、モデルの学習～コンパイルまでをメインに扱っていきます。

> Sagemakerについて
>* [Amazon SageMakerとは何なのか、使い方について。](htt