AWS関連のことを調べてみた2022年01月11日

EC2インスタンスの自動停止起動

# 経緯
EC2インスタンスを、使用しない時間帯のみ止めてコスト削減をしたい。
Lambdaのみでの実装と、Instance Schedulerでの実装を行い、それぞれの複数インスタンス・複数スケジュール設定の場合やコスト、注意などをまとめる。

**【参考】**

https://aws.amazon.com/jp/premiumsupport/knowledge-center/start-stop-lambda-cloudwatch/

https://aws.amazon.com/jp/builders-flash/202110/instance-scheduler/?wsf.filter-name=*all

https://docs.aws.amazon.com/ja_jp/solutions/latest/instance-scheduler/deployment.html#step5

# Lambda のみで実装する

**〇手動方式〇**

**1. IAM ポリシーと IAMロール作成**

* ポリシーの作成。CloudWatch Logの書き込み、E

[AWS]Fargate+Firelens(Fluentbit)でapache-loggenを実行しCloudwatchLogsへログ転送する

# やりたい事

2022/01/13開催の [SB Tech Festival](https://www.softbank.jp/biz/events/techfestival-deeptech-2022/) で登壇した内容、「ビッグデータ活用の第一歩AWS環境での大容量ログ可視化」の詳細手順ページです。

### このエントリで開設するのは以下のイメージ

後半部分のLambda+OpenSearchについてはこちらの記事を参照してください。

# 手順
2022/01/11時点でECSコンソールは新しいエクスペリエンスが提供されていますが、本エントリでは旧UIをベースに解説しています。

## 1.Fargate実行の為のクラスターを用意する

まず、FargateはECSの機能の一部という扱いなので、サーバレスア

S3バケット内の情報取得スクリプト

# 経緯
S3バケット内のオブジェクト（ファイル）について、名前・最終更新日・サイズを取得してCSVファイルに出力したい。
Pythonでスクリプトを書いていく。不慣れなため無駄が多いかと思うが、ご容赦を。
参考：[AWS Lambda Python S3でフォルダ以下のファイル一覧を取得する](https://qiita.com/koji4104/items/15ac578e561f53a0dadc)

# スクリプト作成
以下の構成において、xxx配下のファイル一覧（名前、最終更新日、サイズ）を取得する。
また、オブジェクトは名前（ooooo）で絞って出力する。
**s3://aaa.backup/xxx/ooooo**

aaa.backup：バケット
xxx：プリフィックス
ooooo**：オブジェクト

出力するCSVの中身は以下のようにしたい。
**見出し: Name,Data,Size**
**データ: oooooabcd,[JST]2022/01/10 12:05:10,20.5 KB**

# オブジェクトキーの出力
参考：[Boto 3 で Amazon S3 上の

AWS Cloud Practitioner について勉強してわからないことをまとめた ~モジュール３~

## はじめに
[「AWS Cloud Practitioner について勉強してわからないことをまとめた ~モジュール２~」](https://qiita.com/dai_chi/items/7c8620adb0b4478f8832)の続きです。

過去投稿分
[「AWS Cloud Practitioner について勉強してわからないことをまとめた ~モジュール１~」](https://qiita.com/dai_chi/items/9744c7935d00206ffc3a)

参考：[AWS Cloud Practitioner Essentials(Japanese)](https://explore.skillbuilder.aws/learn/course/1875/play/27620/aws-cloud-practitioner-essentials-japanese-ri-ben-yu-shi-xie-ban)

## AWSグローバルインフラストラクチャ
### リージョンを選択する
サービス、データ、アプリケーションに適したリージョンを決定する際は、以下の４つのビ

[AWS] OpenSearch Service（Elasticsearch）で商品検索APIを作る

# １．はじめに
みなさんOpenSearch（Elasticsearch）使ってますか？
OpenSearchはオープンソースの検索エンジンで、全文検索や商品検索、さらにはデータ分析まで、検索用途なら何でも幅広く活用することができます。今回はそのOpenSearchを使って、ECサイトで使うような商品検索APIを作る方法を紹介してみたいと思います。

# ２．OpenSearchとElasticsearchの関係
OpenSearchという言葉自体を聞き慣れない人もいるかもですが、これはElasticsearch（ES）とほぼ同じものです。
ESは元々Apache License 2.0に準拠したオープンソースソフトウェア（OSS）で、AWSも以前はこのOSS版のESをサービスとして提供していました。
しかし2021年1月、開発元のElasitic社はESのライセンスを変更し、OSSではない独自ライセンスにしてしまいました。これによりAWSはElasticsearchをサービスとして提供できなくなるため、最終のOSSバージョンであるES7.10をフォークしてOpenSearchとい

RX65N Cloud KitのFreeRTOS OTA(Over-The-Air)サンプルプログラムをデバッグする

# 環境準備
Renesas RX65N Cloud KitでFreeRTOS OTA(Over-The-Air)サンプルプログラムをデバッグする方法を確認してみました。

* FreeRTOS OTAサンプルプログラムを動作させるためにはルネサス公式サイトの以下のアプリケーションノートが参考になります。
* しかし、以下のアプリケーションノートはRenesas Flash ProgrammerでOTAサンプルプログラムをフラッシュメモリに書き込んで、プログラムを起動させるだけなので、OTAサンプルプログラムをe² studioを使用してプログラムをデバッグすることができません。
* e² studioの機能でブートローダとファームウェアのプログラムを同時にRenesas RX65N Cloud Kitにダウンロードする機能もありますが、ブートローダがファームウェアを起動するために必要な署名検証データはRenesas Secure Flash Programmerを使用して付加されるものなので、同じくデバッグすることはできません (署名検証で

aws ds パイプライン構築時考慮事項のメモ

粒度をそろえるのが難しいので表形式でメモ。変に切り口をこねるよりも表形式だと粒度やフローに沿ってまとめやすい。

| 粒度 | | 手段 | 特徴 or ユースケース |
| ———————- | ———————- | ———————- | ———————- |
| サービス | | athena | 非構造化データ、半構造化データ、構造化データすべてが対象
データレイクから直でアドホックなSQLを実行したい場合
BIチームなどにも情報へ素早くアクセスしてほしい場合
例：アドホックな分析 |
| | | redshift | 構造化データに対するアナリティクスが対象
スケールとパフォーマンスを追求する場合、より本格的なワークロードを実行したい場合。|
| テーブル作成 | parquetによるパフォーマンス最適化 | パーティション | モダンなクエリエンジンのストレージに対するプッシュダウンを活用してディスクの異なる領域にランダムにスキップ

受験談 AWS Certified Developer – Associate 認定

AWS Certified Developer – Associateを受験しました。

受験される方の参考になりましたら。

# 前提
2021年
8月：SAA [(受験談)](https://qiita.com/h2m_kinoko/items/5179bcb73b6773771f79 “受験談 AWS Certified Solutions Architect – Associate 認定”)
9月：SAP
11月：SOA [(受験談)](https://qiita.com/h2m_kinoko/items/0b05378d96f4246bbdd0 “受験談 AWS Certified SysOps Administrator – Associate 認定”)
12月：SCS [(受験談)](https://qiita.com/h2m_kinoko/items/20f06a746ab15540cd37 “受験談 AWS Certified Security – Specialty 認定”)
2022年
1月：DVA（今回ココ）

SAA受験談に私のAWSの事前知識・経験が書いてあ

AWS Lightsailに独自ドメインを紐づけした

# 概要
なにかしらのサーバーが必要になったのだが、月額固定料金にしたかったので AWS Lightsailでサーバーをたてた。せっかくなので、サーバーに固定IPと独自ドメインを設定まで行った。

# 前提
## 独自ドメインの取得
数日前に国内サービスを使用して取得した。業務で取得や管理をしたことはあったが、個人用としては初めて取得。個人情報だだもれ防止用に「Whois情報公開代行」に気を付けるくらいで、あとは期間とお金の問題でたいしたことない。

## なぜAWS Route 53？
AWSのサーバーのDNSのことなので、Route 53を使うことにした。他のサービスでもできると思われるが、あえてAWSを避ける意味もないので、Route 53とした。

## Lightsailの固定IP
Networking > PUBLIC IPから設定した。サーバーが起動している限り無料とのことなので設定しておく。サーバーが不要になって停止するときに解放忘れすると知らぬ間に費用がかかってしまうらしいので気にしておく。困ることなく設定できた。

# 本題
取得したドメインとIPアドレスが紐づくよ

Elastic Beanstalkの環境変数を一覧で表示する

# 経緯
[クラスメソッドさんの記事](https://dev.classmethod.jp/articles/export-csv-for-eb-environment-properties/)のコマンドがうまく通らなくて、jqが良く分からんから作った。

# コード
“`python
import boto3
from pprint import pprint
import sys
args = sys.args
session = boto3.Session(profile_name=args[1])
eb = session.client(‘elasticbeanstalk’)
hoge = eb.describe_environments()[“Environments”]
ebname = [i[‘EnvironmentName’] for i in hoge]
apname = [i[‘ApplicationName’] for i in hoge]
for i, j in zip(ebname, apname):
ebconf = eb.describe_co

AWS ソリューションアーキテクト対策

#はじめに

今回AWS Solutions Architect – Associateを受けたので自分の備忘録としてまとめました。
(ただメモとして書き殴っただけですので参考になるかわかりませんが、、、)
年末にノリで申し込んで約10日後に受験しました。(無事取得できました)
特にAWSをガッツリ触っているわけでなく、Azureを業務で軽く触っているぐらいです。
主にUdemyで勉強しました。Udemyオススメです。

#IAM

– IAMとは、安全にAWS操作をするための認証・認可の仕組みと思えば良い

####ルートアカウント

– AWSアカウントを作成した時に用意したEメールアドレスとパスワードを使用してサインインできるアカウント
– 権限が最強すぎるのでこのアカウントは基本的に使用しないようにする

ルートアカウントしかできないこと

– AWSアカウントの停止
– IAMユーザーの課金情報へのアクセス
– S3バケットへのMFAによる削除の有効化
– CloudFrontのキーペア作成 etc

####IAMポリシー

– どのリソースに対してどの操作をする

AWS ALB パスベースルーティングを実装してみました。(EC2 + ALB + Apache)

#はじめに
こんんちは、山田です。
今回は、Appliation Load Balancerを用いて、URLのパスごとに接続先のポート番号を変更する方法について記載していきます。

#全体構成図
今回使用するAWSリソースは以下の通りです。

|AWSリソース名 |個数 |備考 |
|—|—|—|
|VPC|1|-|
|Subnet|4|PublicSubnet 2つ
PrivateSubnet 2つ|
|EC2 |3 |EC2-①(Windows)
EC2-②(RHEL)
EC2-③(RHRL)|
|InternetGateWay|1 |-|
|ALB | 1 |- |
|Route53|1|PrivateHostZone 1つ|

以下に全体構成図を記載します。

ALBに関しては、接続元U

あるユーザに、ある情報だけを共有

自分の組織で、あるユーザに、ある情報だけを共有したいとなった場合の方法です。

具体的には、s3 バケットを作成して、その中に情報を入れます。そのバケットを、IAM および s3 のポリシーにより制御します。

新しいユーザーを新しいグループに所属させ、その部ループに、新しいロールをアタッチします。

1. 管理者権限ユーザで IAM を開きます。
IAM グループを作成します。
（一例）
custom-group

2. 管理者権限ユーザで IAM を開きます。
以下の内容でポリシーを作成します。
ポリシー名（一例）
My-read-s3-custom-bucket

“`
{
“Version”: “2012-10-17”,
“Statement”: [
{
“Sid”: “AllowBucketList1”,
“Effect”: “Allow”,
“Action”: “s3:ListBucket”,
“Resource”: “

AWS Certified SysOps Administrator – Associate（SOA-C02）を受けてきました

# はじめに
2022-01にAWS Certified SysOps Administrator – Associate（SOA-C02）を受けてきました。
試験勉強や試験の流れを紹介しますので、これから受験を考えている方の参考になれば幸いです。
この記事は2022/1/10時点の情報です。

# 試験の概要
[AWS Certified SysOps Administrator – Associate](https://aws.amazon.com/jp/certification/certified-sysops-admin-associate/)から紹介します
>試験の概要
>
>- レベル: アソシエイト
– 時間: 試験完了までに 180 分
– コスト: 150 USD　
– フォーマット: 65 問 (単一選択/複数選択/試験ラボ)
– 配信方法: ピアソン VUE テストセンターまたはオンラインでの監督付き試験

SOA-C01→SOA-C02で、以下の変更があったようです。
試験時間：１３０分→１８０分
フォーマット：単一選択/複数選択→単一選択/複数選択/試験ラボ

【AWS】ELB+EC2(2台)+RDS(マルチAZ)で耐障害性に優れたシステムを構築してみた！マルチAZ編

# はじめに
「ELB+EC2(2台)+RDS(マルチAZ)で耐障害性に優れたシステムを構築してみた！ELB編」の続きになります。前回の記事をご覧になっていない方はぜひそちらもご覧ください！

以下に分けて記事を作成しているので、上から順にご覧ください。
[・ ELB+EC2(2台)+RDS(マルチAZ)で耐障害性に優れたシステムを構築してみた！VPC編](https://qiita.com/onishi_820/items/728ef2c6fd640dc07c65)
[・ ELB+EC2(2台)+RDS(マルチAZ)で耐障害性に優れたシステムを構築してみた！EC2編](https://qiita.com/onishi_820/items/d8125a703e7a4eb456bd)
[・ ELB+EC2(2台)+RDS(マルチAZ)で耐障害性に優れたシステムを構築してみた！RDS編](https://qiita.com/onishi_820/items/c18c3bf1a2ff586f264c)
[・ ELB+EC2(2台)+RDS(マルチAZ)で耐障害性に優れたシステムを構築してみた

【AWS】ELB+EC2(2台)+RDS(マルチAZ)で耐障害性に優れたシステムを構築してみた！ELB編

#はじめに
「ELB+EC2(2台)+RDS(マルチAZ)で耐障害性に優れたシステムを構築してみた！RDS編」の続きになります。前回の記事をご覧になっていない方はぜひそちらもご覧ください！

以下に分けて記事を作成しているので、上から順にご覧ください。
[・ ELB+EC2(2台)+RDS(マルチAZ)で耐障害性に優れたシステムを構築してみた！VPC編](https://qiita.com/onishi_820/items/728ef2c6fd640dc07c65)
[・ ELB+EC2(2台)+RDS(マルチAZ)で耐障害性に優れたシステムを構築してみた！EC2編](https://qiita.com/onishi_820/items/d8125a703e7a4eb456bd)
[・ ELB+EC2(2台)+RDS(マルチAZ)で耐障害性に優れたシステムを構築してみた！RDS編](https://qiita.com/onishi_820/items/c18c3bf1a2ff586f264c)
[・ ELB+EC2(2台)+RDS(マルチAZ)で耐障害性に優れたシステムを構築してみた！

【AWS】ELB+EC2(2台)+RDS(マルチAZ)で耐障害性に優れたシステムを構築してみた！RDS編

#はじめに
「ELB+EC2(2台)+RDS(マルチAZ)で耐障害性に優れたシステムを構築してみた！EC2編」の続きになります。前回の記事をご覧になっていない方はぜひそちらもご覧ください！

以下に分けて記事を作成しているので、上から順にご覧ください。
[・ ELB+EC2(2台)+RDS(マルチAZ)で耐障害性に優れたシステムを構築してみた！VPC編](https://qiita.com/onishi_820/items/728ef2c6fd640dc07c65)
[・ ELB+EC2(2台)+RDS(マルチAZ)で耐障害性に優れたシステムを構築してみた！EC2編](https://qiita.com/onishi_820/items/d8125a703e7a4eb456bd)
[・ ELB+EC2(2台)+RDS(マルチAZ)で耐障害性に優れたシステムを構築してみた！RDS編](https://qiita.com/onishi_820/items/c18c3bf1a2ff586f264c)
[・ ELB+EC2(2台)+RDS(マルチAZ)で耐障害性に優れたシステムを構築してみた！

【AWS】ELB+EC2(2台)+RDS(マルチAZ)で耐障害性に優れたシステムを構築してみた！EC2編

#はじめに
「ELB+EC2(2台)+RDS(マルチAZ)で耐障害性に優れたシステムを構築してみた！VPC編」の続きになります。前回の記事をご覧になっていない方はぜひそちらもご覧ください！

以下に分けて記事を作成しているので、上から順にご覧ください。
[・ ELB+EC2(2台)+RDS(マルチAZ)で耐障害性に優れたシステムを構築してみた！VPC編](https://qiita.com/onishi_820/items/728ef2c6fd640dc07c65)
[・ ELB+EC2(2台)+RDS(マルチAZ)で耐障害性に優れたシステムを構築してみた！EC2編](https://qiita.com/onishi_820/items/d8125a703e7a4eb456bd)
[・ ELB+EC2(2台)+RDS(マルチAZ)で耐障害性に優れたシステムを構築してみた！RDS編](https://qiita.com/onishi_820/items/c18c3bf1a2ff586f264c)
[・ ELB+EC2(2台)+RDS(マルチAZ)で耐障害性に優れたシステムを構築してみた！

【AWS】ELB+EC2(2台)+RDS(マルチAZ)で耐障害性に優れたシステムを構築してみた！VPC編

#はじめに
よくある構成の中で以下のような構成があります。今回はVPCから一から構築していこうと思います。

以下に分けて記事を作成しているので、上から順にご覧ください。
[・ ELB+EC2(2台)+RDS(マルチAZ)で耐障害性に優れたシステムを構築してみた！VPC編](https://qiita.com/onishi_820/items/728ef2c6fd640dc07c65)
[・ ELB+EC2(2台)+RDS(マルチAZ)で耐障害性に優れたシステムを構築してみた！EC2編](https://qiita.com/onishi_820/items/d8125a703e7a4eb456bd)
[・ ELB+EC2(2台)+RDS(マルチAZ)で耐障害性に優れたシステムを構築してみた！RDS編](https://qiita

【AWS】Lambda with EFSの構築

## きっかけ
– Lambdaで/tmp上限の５００MBを超えるファイルを扱う必要があり、その動作確認のため。

## 構築Step
1. VPCの構築、SG等の設定
1. EFS構築、アクセスポイントの設定
1. Lambda構築、設定、動作確認

### 1. VPCの構築
– 適当なVPCを作成

– DNSホスト名を有効化

– 適当なサブネットを作成
![スクリーンショット 2022-01-10 0.05