- 1. VMware Tanzu Kubernetes Grid (TKG) on Amazon EC2 をセットアップしてみた (#1 前編 – そもそも VMware Tanzu って？)
- 2. QuickSightでローデータ提供
- 3. Slack AppでリクエストURLにLambda(Node.js)の関数URLを指定してYour URL didn’t respond with the value of the challenge parameterが出た時の対応
- 4. Toil削減取り組みしてみた ~マネージドサービス活用とスクラッチ開発でSREs体感
- 5. Serverless+GraphQL+NestJS+TypeORM+RDSをAWSにデプロイする
- 6. 【初心者】特徴量エンジニアリング（合成データ）について調べてみた
- 7. AWS CDK v2を触ってみた
- 8. 【初心者】特徴量エンジニアリング（外れ値）について調べてみた
- 9. AWS日記40 (AWS CodeGuru)
- 10. docker composeを使って負荷試験環境をECS Fargate上に最速で立ち上げる
- 11. RDSでMySQL5.6のバイナリログの保持期間が変更できない
- 12. 【学生向け】AWS Educate 登録手順（2022年5月現在）
- 13. Amazon Managed BlockchainのEthereum Developer Guide
- 14. AWS認定ソリューションアーキテクトアソシエイト合格日記
- 15. CodePipelineの構築からデプロイまでの導線をIaC化
- 16. ラズパイで消費電力を取得する（３）完結
- 17. 【AWS CLI】S3基本操作
- 18. ClickUpのイベントをLambdaで取得してみた
- 19. 既存の IAM ロールが削除されると、該当ロール名がプリンシパル ID に変換される
- 20. AWS SecretMangerを即時削除する
VMware Tanzu Kubernetes Grid (TKG) on Amazon EC2 をセットアップしてみた (#1 前編 – そもそも VMware Tanzu って？)
# 1. はじめに
[「VMware Tanzu Kubernetes Grid」](https://tanzu.vmware.com/jp/kubernetes-grid) (通称TKG)をAWS上でセットアップしてみたので、備忘録をまとめます。記事は前編後編に分けていて、前編はVMware Tanzuについての紹介、後編は実際にAWS (Amazon EC2)上でVMware Tanzuをセットアップした際の手順、および参考にさせていただいた情報などをまとめます。
先達の方々のブログ記事が非常に参考になりましたので、本稿は情報まとめのまとめという位置付けで捉えていただければと思います。
ハンズオンから試したいという方は、前編は読み飛ばして次の後編から読んでいただければOKです。
https://qiita.com/sanjushi003/private/99c3f3e3c8dbb16ca0e7
# 2. そもそもVMware Tanzuって？
Linuxコンテナ管理を自動化するオープンソース・プラットフォームであるKubernetes(以下、k8s)を、VMware社
QuickSightでローデータ提供
# はじめに
案件の中には、ローデータを納品する場合もあるかと思います。
弊社ではさらに、”検索機能等を実装したVBAマクロ込みExcel”で納品、という事例ありました。Office製品依存から脱却するためにも、ファイル納品に代わり、QuickSightでローデータを提供できないか試してみました。
# 概要
– QuickSight上でテーブルのビジュアルを用い、CSVダウンロードすれば、やりたいことは適う模様
– ただし、以下の制限あり
– 100 万行まで
– 500 MBまで
– フィルタで絞り込んだ場合は、絞り込み後のデータがダウンロードされる# 使用データ
以前から使っている、東京都 新型コロナウイルス陽性患者発表詳細になります。https://catalog.data.metro.tokyo.lg.jp/dataset/t000010d0000000068
# 作ったダッシュボード
以下のようなダッシュボードを作りました（作り方は割愛します）。
– ざっと集計されるピボット表があるシート
– ローデータがその
Slack AppでリクエストURLにLambda(Node.js)の関数URLを指定してYour URL didn’t respond with the value of the challenge parameterが出た時の対応
## はじめに
Slackアプリの Event Subscriptions -> Enable Events -> Request URLでURL設定時にタイトルのエラーが出た場合の対応方法を整理します。
## エラー内容
“`
Your URL didn’t respond with the value of the challenge parameter.
“`– 内容としては`challenge` パラメータを指定してレスポンスを返していない、という意味です。
## 結論
Lambda(Node.js)の場合、以下のようなコードを書けばOKです。
`challenge` のみを含むレスポンスを返却するのがポイントです。“`index.js
exports.handler = async (event) => {
// TODO implement
console.log(`event=${JSON.stringify(event)}`);
const event_body_json = JSON.parse(event.body)
Toil削減取り組みしてみた ~マネージドサービス活用とスクラッチ開発でSREs体感
# はじめに
GW中の肩慣らしとしてこんな感じなものを作ってみた。
ちなみにGW中と言っといてつまずいたポイントがあり結果としてGW明けに投稿となってしまった。。
トラシューも含めてまとめてみたが長くなったのでお時間ある方はぜひ目的と得られるスキルは下記の通り
__目的__
業務でJIRAを利用しているが、セキュリティ観点から定期的なパスワード変更が必要であり、地味に面倒くさくなっている。(地味にがポイント)
また５月からスポット案件として久々にコーディングする機会をいただいたため久々にと言うことでPythonで色々スクラッチで開発と__スキル__
・今回はAWSのマネージドをフル活用すべく下記を利用した:::note info
・EventBridge
・EC2
・SNS
:::
*EC2に関しては賛否あるが結果としてEC2を利用して正解だった(後述記載)## 要件を詰める
簡単ではあるが、以下の要件とこうなったらいいなみたいのをまずリスト化してみた。その要件に対して要件を満たす条件を当てはめてみた。
:::note warn
・JIRAを利用している
Serverless+GraphQL+NestJS+TypeORM+RDSをAWSにデプロイする
## はじめに
この記事の続きです。
https://qiita.com/shinobu_shiva/items/5590602427e5f4fd838e
前の記事で、GraphQL+NestJS+TypeORM+MySQL+Serverless(offline)という構成でローカル実行することが出来ました。次は、これをデプロイしてAWS上で動くようにしたいと思います。
成果物はこちらにあります。
https://github.com/shinobushiva/nestjs-typeorm-ts-example/tree/step3
## とりあえずAWSにデプロイしてみる
とりあえずは何も考えずにデプロイコマンドを叩いてみます。
“`console:デプロイ実行
$ sls deploy
“`“`console:デプロイ結果
Deploying compnestjs-typeorm-ts-example to stage dev (ap-northeast-1)✔ Service deployed to stack compnestjs-typeorm-
【初心者】特徴量エンジニアリング（合成データ）について調べてみた
# 背景・目的
私は、現在データエンジニアリングを生業としています。普段は、データ基盤の構築や、パフォーマンスチューニングなどビックデータに関する業務に従事しています。
ビックデータの収集や、蓄積、分析などの環境構築の経験はそこそこありますが、機械学習による予測や分類などのスキルは持ち合わせていませんでした。
今まで機械学習を避け続けてきましたが、一念発起し学ぼうと思います。学び方としては、AWS Certified Machine Learning – Specialty（以降、ML試験という。）の勉強を通して、理解を深めていきます。ML試験のガイドの第２分野に、探索的データ解析が登場しましたのでそこから学びたいと思います。
今回は、以下のうち**合成的特徴→合成データ**について学びたいと思います。
> 特徴エンジニアリングの概念を分析/評価する (データのビニング、トークナイゼーション、外れ値、合成的特徴、One-Hot エンコーディング、次元低減)
なお、過去の機械学習の調べてみたシリースは下記にまとめています。
– 2.探索的データ分析
– 2.1.モデリング用のデ
AWS CDK v2を触ってみた
# 初めに
私は大卒でITとは無縁の田舎の会社で６年間営業を経験→SESでエンジニア1年ほど(現在)
開発言語はJs、C#
そんなに学歴はないです。# なぜ書こうと思ったか
ただ、オンラインでハンズオンしているだけでは意味がないと思い
アウトプット目的として書く事にした。# 内容について
タイトル通りAWS CDK v2を触ってみました。
内容としてAWS公式のワークショップだったと思います。（曖昧ですみません）# そもそものAWS CDKとは(座学)
AWS Cloud Development Kit (AWS CDK) v2 は
いわゆるインフラのコード化することができるツールキットです。
コードで定義し、CloudFormation でプロビジョニングすることができます。対応言語はTypeScript、JavaScript、Python、Java、C#
# 触ってみた
1.Cloud9の起動します。設定値はデフォルト。
2.CDK v2の動作確認
Cloud9はCDKやCDKの実行に必要なモジュールなどがあらかじめインストールされています。
また、Clou
【初心者】特徴量エンジニアリング（外れ値）について調べてみた
# 背景・目的
私は、現在データエンジニアリングを生業としています。普段は、データ基盤の構築や、パフォーマンスチューニングなどビックデータに関する業務に従事しています。
ビックデータの収集や、蓄積、分析などの環境構築の経験はそこそこありますが、機械学習による予測や分類などのスキルは持ち合わせていませんでした。
今まで機械学習を避け続けてきましたが、一念発起し学ぼうと思います。学び方としては、AWS Certified Machine Learning – Specialty（以降、ML試験という。）の勉強を通して、理解を深めていきます。ML試験のガイドの第２分野に、探索的データ解析が登場しましたのでそこから学びたいと思います。
今回は、以下のうち**外れ値**について学びたいと思います。
> 特徴エンジニアリングの概念を分析/評価する (データのビニング、トークナイゼーション、外れ値、合成的特徴、One-Hot エンコーディング、次元低減)
なお、過去の機械学習の調べてみたシリースは下記にまとめています。
– 2.探索的データ分析
– 2.1.モデリング用のデータをサニタイズ
AWS日記40 (AWS CodeGuru)
# はじめに
今回は [Amazon CodeGuru](https://aws.amazon.com/jp/codeguru/) を試します。
[CodeCommit](https://aws.amazon.com/jp/codecommit/)のリポジトリと関連付け、フルリポジトリ分析を実行します# ソースコードの準備
– サポートされている言語のソースコードを準備します
– 2022/05/14時点では Java や Python などのコードがサポートされています
– 参考:[Amazon CodeGuru のよくある質問](https://aws.amazon.com/jp/codeguru/faqs/)
– 今回は [aws-samples/amazon-codeguru-reviewer-sample-app](https://github.com/aws-samples/amazon-codeguru-reviewer-sample-app) を利用します# CodeCommit リポジトリを作成
– [ステップ 1](https:
docker composeを使って負荷試験環境をECS Fargate上に最速で立ち上げる
# 初めに
生産技術部で製品の検査工程を担当しているエンジニアです。AWSに構築したシステムの負荷試験を行うために、AWS上に負荷試験環境を構築しました。AWS上で立ち上げることで十分に負荷をかけることができ、低コストで実現できますが、設定ファイルを準備するのは少し手間です。そこで、docker composeを利用し、短期間でECS Fargateにクラスタを構築する方法を紹介します。負荷試験については無知なため、以下の本を参考にさせていただき、Locustを導入してみました。
[Amazon Web Services負荷試験入門―クラウドの性能の引き出し方がわかる](https://www.amazon.co.jp/Amazon-Services%E8%B2%A0%E8%8D%B7%E8%A9%A6%E9%A8%93%E5%85%A5%E9%96%80-%E2%80%95%E2%80%95%E3%82%AF%E3%83%A9%E3%82%A6%E3%83%89%E3%81%AE%E6%80%A7%E8%83%BD%E3%81%AE%E5%BC%95%E3%81%8D%E5%8
RDSでMySQL5.6のバイナリログの保持期間が変更できない
## 事象
RDSを使ってMySQL5.6のreplication設定時にバイナリログの保持期間を変更しようとしたときに
`ERROR 1694 (HY000): Cannot modify @@session.sql_log_bin inside a transaction`
のエラーにより変更できない## 結論
クエリ実行する際に `SET AUTOCOMMIT=1`の設定をいれる
## 補足
以下クエリ実行時にエラーが発生しました。
“`sql
mysql> call mysql.rds_set_configuration(‘binlog retention hours’,24);
ERROR 1694 (HY000): Cannot modify @@session.sql_log_bin inside a transaction
“`こちらはMySQL5.6のバグになっております。
ので、該当バージョンを使っている以上どうしようもなさそうです。https://bugs.mysql.com/bug.php?id=53437
仕方ないので、手動で変更を
【学生向け】AWS Educate 登録手順（2022年5月現在）
# AWS Educateとは
~~AWSの学生向けプログラム。学習教材と月XXドルのクレジットを無料で受け取ることができる。
クレジットカードの登録も不要（クレジットが枯渇するとインスタンス類は全部停止する）のため，「うわっ，私AWS使いすぎ・・・？」的な事案になることもない。~~
→どうやら無料クレジットは廃止された模様。実際のAWS環境でのハンズオンを含むオンラインコースを無料で利用できる。# 前提条件
~~学生であること。教育機関支給の`.ac.jp`や`.edu`ドメインの個人メールアドレスがあること。~~
→学生という前提条件も取り払われた模様。# 検証日時
2022/05/14。# 手順
## 登録
1. AWS Educateのサイトにアクセスする。検証時点でのURLは下記の通り。
https://aws.amazon.com/jp/education/awseducate/?nc1=h_ls
に合格してから半年ぐらい経ちまして、そろそろソリューションアーキテクトをとってもいい頃かなっとおもったので、挑戦してみました。# AWS認定試験の全体像
* [AWS認定試験の概要](https://qiita.com/kazutxt/items/dce1c5df12d5ab27020a)# ソリューションアーキテクトの試験概要
* 問題数は65問
* 試験時間は130分
* 合格スコアは100-1000のスコアで720以上(≒正解率72%前後)
* 試験料は15,000円
* 試験範囲
* レジリエントアーキテクチャの設計 30%
* 高パフォーマンスアーキテクチャの設計 28%
* セキュアなアプリケーションとアーキテクチャの設計 24%
* コスト最適化アーキテクチャの設計 18%## 注意
2022/8/30に新しい試験になるようです
https://aws.amazon.com/jp/ce
CodePipelineの構築からデプロイまでの導線をIaC化
# 初めに
生産技術部で製品の検査工程を担当しているエンジニアです。AWS Well-Architected フレームワークの中から運用の優秀性を参考に、CodePipeline構築からデプロイまでのコード化を実施しましたので紹介します。https://docs.aws.amazon.com/ja_jp/wellarchitected/latest/operational-excellence-pillar/design-principles.html
具体的な実装はGitHubを参照してください。
https://github.com/TomoyukiSugiyama/ElasticStack
# CodePipeline構築のIaC化
AWS CLIをシェルスクリプトから実行し、環境構築を行います。CodePipelineだけでなく、デプロイするために必要な鍵やパラメータ、CloudFormationのテンプレートやLambdaのコードを保存するためのS3バケット、ECRも作成します。パラメータ以外は、CloudFormationのテンプレートを利用して作成します。パラメ
ラズパイで消費電力を取得する（３）完結
# 目的
Raspberry Pi4とCTセンサーを用いて、消費電力を取得し、AWS IoT Core経由で、ElasticSearchに流し込むこと。
前回の記事は[こちら。](https://qiita.com/shof0322/items/a7b6217bedd05f7edd9f)# 方法
ざっくりの流れは以下の通りです。1. ハードウェアの構築
1. 消費電力取得プログラムの作成
1. AWS環境の構築### 3.AWS環境の構築
計測した消費電力を可視化するために、AWSのサービスをいくつか組み合わせて環境を構築します。
ざっくりいうと 「IoT Core → ElasticSearch → kibana」 という構成、フローとなっており、IoT Coreでエッジデバイスのセンシングデータを収集、ElasticSearchのエンジンを使ってデータベース化、ElasticSearchと紐付いたkibanaで可視化というイメージです。#### 3.1.IoT Coreの設定
##### 3.1.1.AWS IoT のエンドポイント確認1.AWS IoT Co
【AWS CLI】S3基本操作
# まえがき
CLI経由でのS3操作を本稿にまとめていく。
高レベルコマンド(`aws s3`)とAPIレベルコマンド(`aws s3api`)の2種類あるので、それぞれで出来ることをまとめていく。# 高レベルコマンド(`aws s3`)
できること
・バケット一覧表示
・バケット作成
・バケット削除
・オブジェクトのコピー
・オブジェクトの移動
・オブジェクトの削除https://docs.aws.amazon.com/ja_jp/cli/latest/userguide/cli-services-s3-commands.html
## バケット作成/削除
コマンド
“`
aws s3 mb s3://bucket_name
aws s3 rb s3://bucket_name ※オブジェクトが空の場合
aws s3 rb s3://bucket_name –force ※オブジェクトが空でない場合
“`
実行例
“`
% aws s3 mb s3://20220514hogebucket
make_bucket: 2022051
ClickUpのイベントをLambdaで取得してみた
## はじめに
業務でClickUpを使用していますが、タスクのコメントが追加された際にSlackに通知できるようにしたいと思いました。
まずは、Lambdaでイベントを受け取る方法についてまとめました。## 準備
### Lambda
– 関数を作成する
– 今回は簡易性のためにAPI Gatewayは使わずに関数URLを使う### ClickUp
– 以下に記載の順序でAccessトークンを取得する
> Finding your token:
> Navigate to your personal Settings
> Click Apps in the left sidebar
> Click Generate to create your API token
> Click Copy to copy the key to your clipboardhttps://docs.clickup.com/en/articles/1367130-getting-started-with-the-clickup-api
– 以下コマンドでWebhookを作
既存の IAM ロールが削除されると、該当ロール名がプリンシパル ID に変換される
ある日突然 Terraform 差分が起きた件について、調査して分かったことをメモ
Assume Role 設定で指定していた IAM ロールの ARN が、見覚えのない文字列（`AROA`から始まる）に変更されていて、Terraform 適用時に差分が起きた
“`tf
Principal = {
~ AWS = “AROA…” -> “arn:aws:iam::[アカウント ID]:[ロール名]”
}
“`この変更を行った覚えはなくて、調査した結果、該当 IAM ロールが削除されたことによって、ARN からプリンシパルID に変換されたことが原因だった
どういうことかと言うと、
– 前提として、AWS の仕様で、意図しない IAM ロール利用を防ぐために、IAM ロールは裏側でユニーク ID で管理されている
– [普段は AWS 側で必要な時に ID 変換されるため目にする機会がないが、arn が指す IAM ロールが削除されると、この ID がコンソール表示される](https://docs.aws.amazon.com/ja_jp/IAM/latest/U
AWS SecretMangerを即時削除する
– 数日間残るので削除して同じ名前で作り直すことができない。
– 即時削除をする必要があり、CLIからのみできるみたい“`
aws secretsmanager delete-secret –secret-id secret-vault –force-delete-without-recovery
“`
