AWS関連のことを調べてみた2023年07月17日

【AWS】CloudFormationでS3バケット削除時にカスタムリソースを使ってオブジェクトも一緒に削除する

CloudFormationを利用してS3を作成する場合、内容よってはオブジェクトも出力されてしまっているというパターンがあるかと思います。このときスタックの削除を試みるとオブジェクトが残っているので、**中身のオブジェクトを先に削除しない**とスタックの削除ができないという悲しい自体が発生します。検証などでリソースの再作成を繰り返してると、これが地味に手間なのです。

これは**カスタムリソース**という手法を利用すれば、スタックの削除一発でオブジェクトの削除まで可能になります。今回はこの方法を書いていたきいと思います:bulb:

## カスタムリソースとは
通常のリソースタイプではできない処理に**機能を追加して処理させる**方法です。今回の例だと、通常S3削除時にはオブジェクトを削除するという動作はできませんが、このカスタムリソースを使用することでオブジェクトを削除するという動作を追加することができます。

https://docs.aws.amazon.com/ja_jp/AWSCloudFormation/latest/UserGuide/template-custom-r

Amazon Workspacesをパソコン代わりに使えるか

# はじめに
AWSの仮想デスクトップ環境「Amazon Workspaces」を利用して作業用の環境を作ってみました。できるだけお安くなるように小規模な環境を作成してみて、個人でパソコンの代わりに利用するという使い方が成立するのか？という観点で、導入の手軽さ、使い勝手とコスト面について様子を見てみたいと思います。

# 前提条件
いくつか最初に決めておいたほうが良いことや見落としがちなことがあるので、挙げておきたいと思います。

## VPCが必要になる
仮想デスクトップを置く場所として、VPCやSubnetなどネットワーク環境が必要になります。オンプレの環境と接続（例えばネットワークプリンタで印刷など）するためには何らかの方法でVPCとオンプレをつなぐネットワークが必要になります。さらにプライベートサブネットに仮想デスクトップを作成した場合、インターネットに接続するためにはNATゲートウェイが必要になります。

## ADが必須であること
VPC環境で利用できるADが必要になります。主に下記3つの方法があります。
* オンプレのADをDirectConnectなどでVPCから利用

AWS認定取得を目指す全人類の味方「TechStock」の勉強法！

# はじめに
AWS認定資格の取得に励む方々なら誰もが知っているであろう、AWS認定資格特化のWEB学習サイト「**TechStock**」（旧名：koiwa club）。

私も受験のたびにお世話になっているのですが、実は最近色々と学習機能が追加されてきており、以前よりもこちらのサイトを活用した学習がしやすくなってきております。

対策としてはよく名前を挙げられている本サイトですが、その勉強法に関する記事は見たことがなかったので、今回はTechStockでの勉強法について紹介したいと思います。

# 対象者
**AWS認定資格の取得を目指す全人類**

また、私の取得状況としては、
– Cloud Practitioner (CLF)
– Developer – Associate (DVA)
– Solutions Architect – Associate (SAA)
– DevOps Engineer – Professional (DOP)

の4つになります。
これらの学習を通じて、TechStockは旧名時代から活用してきております。

# TechStockとは？
冒

2023/07 GlueとStepfunctions①（全体像の把握編）

# 執筆にあたって
弊社では、S3に保存されているデータをRDS（MySQL）にimportする際に、LambdaやECSを用いておりました。
この作業をAWSのサービスの一つである「Glue」で行うように変更することが決まりました。
それに伴って情報のキャッチアップを行なっていたのですが、Stepfinctionsと合わせて運用されている記事で、lambdaを使って実装されていたり（今回は直接実行をしたい）、古めの記事や内容のものが多かったので、新しい情報を纏めようと思いました。
※現在は検証段階なので、記事の内容が「全て正しい」、あるいは「ベストプラクティスである」というわけではありません。
※以下、本記事においては、RDSはMySQLと同義とします。

# この記事におけるGlue活用の目標
S3に保存されているデータをRDSにimportする際に、lambdaやECSを使わずに、GlueとStepfunctionsだけを用いて完了させることを目標としています。
以下、具体的にimportに必要なGlueの操作をまとめます。

・Glue crawlerの作成
・Glue cra

AWS初心者こそ #AWSGameDay に参加しよう！

ジャーニーマン( @beajourneyman )です。

4年強寝かしていたQiitaを再始動しました。再始動1本目は「AWS Dev Day 2023 Tokyo」のゼネラルセッション、2本目は同ブレイクアウトセッション・クロージングセッションについてまとめました。

https://qiita.com/beajourneyman/items/04ce3b08ed358f7d4722

https://qiita.com/beajourneyman/items/55d1c562c39667758b8b

今回は AWS Summit Tokyo 2023 と　AWS Dev Day 2023 Tokyo で参加した「AWS GameDay」に参加した経験から、経験1年未満の初心者だからこそ、オススメしたいポイントをまとめます。

# GameDay とは

> AWS GameDay は、ある課題に対して AWS サービスで解決するための対応力や実装スキルを試せる実践形式の人気ワークショップです。 3 – 4 名でチームを結成し、待ち受けるさまざまなトラブルやクエストをクリアしなが

IT初心者が AWS Certified Machine Learning – Specialty（MLS-C01）にチャレンジして一発合格した件について

# はじめに
この記事はこれからAWS Certified Machine Learning – Specialty（MLS-C01）を受験しようとされている方、受験するために情報収集をされている方に向けて、私が勉強を始めて合格するまでの体験を書いたものです。

sagemakerなどML系のサービスはおろか、他のサービスを含めて**実務経験は一切ない**私がどのようにしてspecialityの資格に受かったのかできるだけ詳細に書いていこうと思います。この資格の受験体験記は他の資格よりも少ない印象（筆者調べ）なので参考になれば嬉しいです。

# AWS Certified Machine Learning – Specialty（MLS-C01）とは
AWSの資格は（2023/07/16現在）12種類あり、AWS Certified Machine Learning – Specialtyは専門知識に分類されます。
以下、[AWS Certified Machine Learning – Specialty の受験対象](https://aws.amazon.com/jp/certif

React、RailsのActive StorageでAWS S3を使おう！

## Actvie Storageとは？

Rails5.2から追加されたRailsのストレージ機能です。AWS S3、Google Cloud Storageなどのクラウドストレージサービスにアップロードするのに便利らしいです。

Railsで画像などをアップロードする機能としてCarrier Waveも候補になるかと思います。

:::note info
**viewをReactやVueで書く場合はCarrier Waveを使った方がいいかも？**
[ActiveStorage vs CarrierWave – Qiita](https://qiita.com/w5966qzh/items/510d4c2a3829524b2e64)
:::

しかし、普段Active Storageを使っていたり、SPAでも使用したい人は多いと思いますので私の勉強も含めて、AWS S3のセットアップから行っていきたいと思います。

そこまでrailsやAWSに詳しくないので動いたコードを共有します。セキュリティやコードに改善点があればご指摘お願いします。

## 1.AWSのセットアップ

1.

AWS Batch on Fargateのサーバレスなバッチ実行環境をTerraformで自動構築する(基本編)

# はじめに
AWS Dav Day 2023の以下のスライドを読んでいたら、これまではLambdaやECSタスクで実装していたものをAWS Batchのジョブにしてもなかなか良いのではないかと思って触ってみた。
[技術的負債になりかけていた機能をリアーキテクティングしたらめちゃくちゃ改善した話](https://speakerdeck.com/kaminashi/a-story-that-improved-a-lot-when-re-architecting-a-function-that-was-about-to-become-technical-debt)

本記事を読むにあたっての前提知識としては以下のあたりがあれば良い。
– ECS on Fargate等のコンテナ実行環境の基礎知識がある
– Terraformの基礎知識がある

# AWS Batchのジョブ実行に必要なリソース
AWS Batchの実行に必要なリソースは、AWS Batchそのもの以外に以下がある。
– コンテナイメージの元ネタになるECRリポジトリ
– セキュリティグループ
– IAMロール(AWS B

【初心者】AWS CloudFormationでVPC構築～EC2起動

恥ずかしながら **AWS CloudFormation** をまだ使ったことがなかったので、トライしてみました。

## 目指すもの
AWS CloudFormationだけでLinuxサーバー構築
できるだけ設定はパラメーターとして外出しする
作成するサーバーには一般的な監視設定(死活監視・リソース監視)も入れた状態で完成させる

1. VPC作成
1. サブネット作成
1. インターネットゲートウェイ作成
1. ルートテーブル設定 & ルート設定
1. キーペア作成
1. EC2作成(Amazon Linux 2023)
1. CloudWatch設定
1. AWS Backup設定

## 詳細設定
| 項目 | 設定内容 |
| —- | —- |
|リージョン|大阪(ap-northeast-3)|
|VPC IPv4 CIDRブロック|192.168.0.0/16|
|サブネット IPv4 CIDRブロック|192.168.1.0/24|
|OS|Amazon Linux 2023 (2023/7/16時点の最新)|
|EC2 インスタンスタイプ|t3.m

高卒実務未経験状態から正社員就職した時に作成した、ハイレベルなポートフォリオに関して(AWS, Docker, CircleCI,Vue.js, Laravel、Ajax(axios))

# 初めに

今回は **Docker**, **CircleCI**, **AWS**, **Vue.js** など、人気の高まっているフレームワークやインフラ技術を一から学んで、比較的ハイレベルなポートフォリオ(Webアプリ)を作成した時のことに関してまとめてみました！

ちなみに、こちらのアプリ作成時期や体験談は一年ほど前の話になりますが、
今だからこそわかる部分もあるのでその辺も含めてまとめていければと思います。

特に『実務経験がない方』や『これからエンジニア就職・転職していきたい！』という方に対して、何かしらご参考になれば幸いです！

# 目次

* アプリの概要
* 使用技術
* インフラ構成図
* 機能一覧
* DB設計
* 技術選定の基準
* 機能実装で意識したこと
* 開発にあたって苦労したこと
* (その他)各機能

AWS Certified Solutions Architect – Professional (SAP-C02)を更新しました

# はじめに
AWS Certified Solutions Architect – Professionalが失効間近のため更新しました。

# 教材
1. [Tech Stock | AWS WEB問題集で学習しよう](https://aws.koiwaclub.com/exam/dbs/)
– 有償のおなじみのやつです。
– 581問(83セクションx7問)です。
– 他者の合格記を見ると好評でしたので、Udemyは受講せず、これだけ勉強しました。結構よかったかと思います。
– #01～#30は古いため、スキップしても良いと思います。
1. [試験問題サンプル](https://d1.awsstatic.com/ja_JP/training-and-certification/docs-sa-pro/AWS-Certified-Solutions-Architect-Professional_Sample-Questions.pdf)
– 無料の公式の試験問題サンプルです。
1. [Skill Builder: AWS Certified

AIをフル活用した「名言Bot」

昔から読書が好きで、偉人達の言葉によく感銘を受けていたのですが、なかなか普段本を読む時間が取れないという友人も多く、日常生活の中にもっと偉人達の言葉を取り込めないかなと考えていました。

UIとしてはやはりLINEが最も使い勝手が良いと思い、昨今のAIの進化も踏まえ、LINEから誰でも気軽に使える、AIを活用した名言Botを作りました。

定期的な名言の通知機能に加え、ChatGPTによる名言の選定、リップシンクによる名言の発話もあります。

■名言のスケジュール通知
任意の通知時刻を選択可能

■ChatGPTによる名言の応答
任意の問いかけに対し、ChatGPTが応答する名言を選定、選定理由とともに応答

![画像3.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/

0からのDatadog

# はじめに
本記事は、Datadogを触り始めのエンジニアが実際に行った内容を備忘録として記載したものである。

# 前提条件
* 監視対象として設定するサーバは、[ここ](https://qiita.com/yes_dog/items/237b6b9f5deccf4b1a77)で作成したZabbixサーバを対象とする。※OSはRHEL8
* 執筆時点(2023/07/16)の内容を記載している為、将来的には手順もしくはDatadogのUIが異なる可能性がありますので、その点はご了承ください。
* DatadogAgentをインストールするサーバは、下記構成図に記載の「業務用サーバ①」を対象とする。※インターネットから接続ができないプライベートな環境を想定。
* 業務用サーバのSGは、アウトバウンドルールで「0.0.0.0/0でALLトラフィックを許可(Nat Gateway経由で外に出る)」しているので、Datadogに必要な通信要件はクリアしているものとする。Datadogに必要な通信要件は、[ここ](https://docs.datadoghq.com/ja/agent/gui

M5Stack Toughと土壌水分量センサーでプランター菜園をモニタリングするVol.4（データ蓄積編）

# データ蓄積先の選定
前回までの記事で、電源、センサーとりつけ、AWS IoT へのデータ送信を行ってきました。

[M5Stack Toughと土壌水分量センサーでプランター菜園をモニタリングするVol.1（電源編）](https://qiita.com/EuzoBass/items/fb4a8f379c2425ad942b)
[M5Stack Toughと土壌水分量センサーでプランター菜園をモニタリングするVol.2（センサー取り付け編）](https://qiita.com/EuzoBass/items/b4bd99995d39b812ea56)
[M5Stack Toughと土壌水分量センサーでプランター菜園をモニタリングするVol.3（AWS IoT 編）](https://qiita.com/EuzoBass/items/4c30f23ffa3d2b9bfa32)

とりあえずAWS IoT にはデータが届いている状態なのでルールエンジンを用いてデータの蓄積を考えていくことになります。データ蓄積する際は、データベースを使ったりAmazon S3などのオブジェクトストレージ

ConftestでCFnをテストする

# はじめに

先日、AWS Dev Day 2023 Tokyoのセッション動画が公開されました。

https://aws.amazon.com/jp/events/devday/japan/

8月末までの公開のため、少しずつ見ていっています。
その中の以下のセッションのスライドで、AWS SAMがテストできるとあり、興味がでたため少し触ってみました。

# 概要

– `Conftest`というツールを試用
– `Open Policy Agent`の`Rego`というポリシー専用の言語で記述
– Yamlをチェックできる
– それを用いて、CFnをチェックする

# 参考

https://www.conftest.dev/

https://www.openpolic

アカウント内のS3バケット容量を一括出力する方法

# はじめに
AWSでしばらく遊んでいると、いつの間にか謎のS3バケットが増えていきませんか？
私はめんどくさがりで消すのをよく忘れるので、使途不明なS3が日々発生しています。
そんな中重い腰を上げて、一つ一つS3バケットの容量を見て要否を確認するのはさらに面倒…。

というわけで、AWS CLIでオブジェクト数と容量をまとめて出力する方法を共有します。

# コマンド
以下のコマンドでまとめて出力できます。
大事なのはaws s3 lsコマンドの以下オプションです。
– –recursive
指定したS3バケット配下のすべてのオブジェクトに対して再帰的に実行してくれる。
– –human-readable
KiBやMiBなど、確認しやすいサイズ表記にしてくれる。
– –summarize
`Total Objects`と`Total Size`を表示してくれる。

“`shell:実行
for bucket in $(aws s3 ls | awk ‘{print $3}’); do
echo $b

100台超のEC2自動停止をAIに聞いて3分で実装してみた！

EC2の自動停止(メンテ不要Version)
—

以前の執筆記事でLambdaでのEC2の自動停止について
ご紹介しました。
[EC2の自動停止について](https://qiita.com/fukuchan_milk/items/64c924f8fa3fd4342ba8)

上記は超入門編で、AWSを初めて利用する方でも
行えるように記載しました。

さて、前回のコードでは課題にも記載した通りEC2の数が増減した場合にLambdaコードの修正が必要となってしまうため管理が煩雑になっています。

今回はメンテナンスフリー(EC2が増減してもLambdaの修正が不要！)な
コードでEC2の自動停止を実現します。

今回もAIに質問しながらコードを実装しました。

Q1）東京リージョンで稼働するすべてのEC2を日本時間の午前1時に停止したいです。LambdaでPythonコードを書くとどうなりますか
—

A1）EC2インスタンスを停止するPythonコードをLambdaで実行することができます。以下のコードは、東京リージョンで稼働するすべてのEC2インスタンスを日本時間の午前

【AWS/ECS on EC2】 EC2コンテナインスタンスの登録方法

# はじめに
AWS Elastic Container Service (ECS)は、Docker コンテナを簡単に実行できるようにするためのフルマネージド型のコンテナオーケストレーションサービスです。ここでは、ECSをEC2インスタンスと一緒に使用する方法を紹介します。特に、Fargateとは異なり、EC2を使用する場合はEC2インスタンスをECSに登録する必要があります。本記事ではその登録手順を記載しいます。

# IAMロール作成
まず始めに、任意のIAMロールを作成し、以下の2つのポリシーをアタッチします。
– AmazonEC2ContainerServiceforEC2Role
– AmazonSSMFullAccess
※EC２インスタンスにセッションマネージャーで接続したくAmazonSSMFullAccessを設定しています。

# EC2インスタンスの作成
Amazon ECS最適化 AMIを使用して、EC2インスタンスを作成します。

### 最新のAMIの設定
以下のコマンドをCloudShell等で実行して、最新のAMIを取得します。ここでは、x86_64

API Gateway、Cognito、Lambda、S3を使って署名付きアップロード・ダウンロードを実装する。

# はじめに
AWSが運営している[AWSブログ](https://aws.amazon.com/jp/blogs/news/)を流し見していたところ、ちょうどこんなシステムを作ってみたいと思い描いていた内容と合致するソリューションが手順・サンプル付きで紹介されていたので、少しハマったところも含めて手順をまとめてみようと思います。

– [AWS のサーバーレスと Amazon S3 署名付き URL、クライアントサイド JavaScript で大きなサイズの複数ファイルの一括アップロード・ダウンロード機能を実現する方法](https://aws.amazon.com/jp/blogs/news/large-size-files-transferring-by-serverless-s3presignedurl-and-clientside-javascript/)

# 紹介するソリューションについて
S3の機能で一時認証キーを使って一定期間のみアクセスを可能とする署名付きURLがありますが、署名付きURLを使ってCognito認証を行った上でアップロード・ダウンロードが行えるソリュ

AWS Cloud Practitioner を受験してみた感想

約1年前にもなりますが　Cloud Quest　や無料のハンズオンで手を動かしてみたりしてました。

https://qiita.com/hugo584/items/ed194cb5426b70094651

合格すれば会社から報奨金もらえるし、重い腰を上げて受験しました。
（この夏旅行先でゴニョゴニョしたいからっていうのは内緒・・・）

せっかく受験したので、これから受験する人や、初歩的な資格だけど意外と難しいんじゃないかと尻込みしている人向けに書きます。

ちなみに受験後即記事を書いているので何か証明できるものはありませんが、
テストセンターの試験終了後に表示される結果速報で合格していることを確認してます。

なので一応合格体験記という立ち位置になると思います。

# 受験してみての感想

**その1：　出題内容は難しくない**

のちに紹介する模擬問題集と比べても難易度はあまり変わらないです。
どちらかというと模擬問題集ごとに書き方に癖が多少あるので、

その癖に慣れて色んな出版社（や出題者）が出している問題に触れておくと
本番でもそこまで設問の理解に脳のリソ