Python関連のことを調べてみた2021年11月09日

AWS上でデータの収集、加工、分析を行う

#はじめに
kaggleなどでデータ分析の勉強を行う際は、既に加工されて分析しやすい形になったデータに対して分析を行うことが多いと思います。しかし実務ではデータの収集から行う必要性があったり、分析に適さない生データを扱うことになると思います。

そこで一からデータの入手・加工・分析までの流れをやってみようということと、AWSの経験値を積むために、AWS上で一連の流れを処理するためのアーキテクチャを作成しました。

#学習方法
AWSについてはネットで調べつつ繋げていくのがメインでした。
個々の実装やサービス同士の繋げ方については、別で記事をあげていきたいなぁと思ってます。

スクレイピングについては、udemyの「【4つの実案件で学ぶ】Python Webスクレイピング完全パック」で学びました。実案件を交えつつ、非常に分かりやすい内容となっています。

#作ったもの

一週間に一回、バイク王さんの中古バイクのデータを取得し、データ分析を行える状態まで持っていくアーキテクチャです。
下図が今回作成したものになります。

![image.png](https://qiita-image-s

破壊力学のお勉強

#今更破壊力学？
　私は、仕事では基本的に試験データを用いた解析をやっております。
最近は機械学習を用いたモデル開発なんかもやってますが、結果の解釈とかのときに必要になったので、いい機会なのでお勉強ということで。
　一応プログラムも絡めておかないと運営に怒られそうなので、適当に数式をcかpythonかmatlabで書いてみますかねぇ。

##使う本
いつ買ったのかはわからないが、家に転がっていた__小林英男著、”破壊力学”__

##私の知識
４力（材料力学、熱力学、機械力学、流体力学）は大学で履修
材料に関する知識は一般論ぐらい（機械材料とか）
固体物理は習ったような・・・。
数学は大学課程はなんとか、統計検定２級は最近合格。

Equalumの同期速度を可視化してみた。。

####以前の投稿でEqualumの検証を行った際に、5個のオリジナルテーブルをCDCの起点にして、最終的に中間の自動統合データベースを含む、5個の新規データベースをExactlyOnceで安心・安全・確実に生成する・・・・という内容の1時間以内チャレンジ！！が有りましたが、今回は、その際に作成したPythonのプログレスバー型可視化でなく、即時可視化が可能なLogiCOMPOSER(旧Zoomdata)を使った「オーバーヘッドを削った版」動画が出来ましたので、取り急ぎ公開させて頂きます。

##とりあえず・・・動画から！