AWS関連のことを調べてみた

AWS Glueを使用したS3からRDS（MySQL）へのデータ取り込み4

## ジョブを作成する

ETL jobs→Visual ETLボタンを押下する。

左上の鉛筆マークを押下してジョブ名を変更する

### Sourcesを追加

Sourcesの中から「Amazon S3」を選択すると、画面にS3のノードが追加される。

Name

AWS Glueを使用したS3からRDS（MySQL）へのデータ取り込み3

## Crawlersの設定

RDSに接続できるようになったら、クローラーの設定を行う。
自分なりの解釈だが、GlueがETL処理を行うために、書き出し先の構造を取得する処理と考えている。

GlueのDatacatalog→Crawlers→Create crawlerボタンを押下する。（オレンジのやつ）

### Step1
クローラーの名前と説明を書く画面。
好きな内容を入力。

### Step2
これは初めて作るので、Not yetを選択。
![image.png](https://qiita-

AWSマネージドサービスをフル活用したリテールメディアプラットフォームとSRE

この記事は、[CyberAgent Group SRE Advent Calendar 2023](https://qiita.com/advent-calendar/2023/ca-sre)の2日目の記事です。

# はじめに
こんにちは、
[Next Experts of AWS](https://www.cyberagent.co.jp/way/list/detail/id=26223) の小西(@hirokikonishi )です。
業務としては、AI事業本部に属しており、リテールドメインで __ミライネージ__ の開発をしています。

# 本日の内容
主には、SREの観点の中から __Resilience(回復力、耐障害性)設計__ について取り上げたいと思います。

# アーキテクチャ図と

耐障害性を考慮したアーキテクチャ on AWSを考える

# はじめに
この記事はDevOps on AWS大全の一部です。
DevOps on AWS大全の一覧は[こちら](https://qiita.com/tech4anyone/items/b06f88035d27c6ef13b2)。

この記事では耐障害性を考慮したアーキテクチャ超詳細解説しています。

具体的には以下流れで説明します。

– AWSにおけるマルチAZアーキテクチャ
– AWSにおけるマルチリージョンアーキテクチャ
– AWSにおけるBlue/Greenアーキテクチャ

AWSの区分でいう「Level 200：トピックの入門知識を持っていることを前提に、ベストプラクティス、サービス機能を解説するレベル」の内容です。

# この記事を読んでほしい人
– 耐障害性を考慮したアーキテクチャのベストプラクティスを説明できるようになりたい人
– AWS Certified DevOps Engineer Professionalを目指している人

# AWSにおけるマルチAZアーキテクチャ
AWSにおけるマルチAZアーキテクチャは、可用性を重視するアプリケーションやサービスに

Community Builders 1年目振り返り

1日目の加我さんがめちゃくちゃいい記事

https://note.com/tkaga/n/n2aab58fa7665

をかいてもらっていて、
かなりライトな二番煎じ感がすごいですが、自分のための振り返り、と
これを読んだ人が少しでもCommunity Builders（以下CBs）に興味を持ってくれますように。

## 筆者の情報（CBs認定前）

– 2021年末よりJAWS-UG SRE支部運営
– JAWS DAYS 2022実行委員

上記コミュニティ活動や2022年の登壇をもとに申請し、
2月末にCommunity Builders (container)に認定いただきました。

https://x.com/saramune/status/1630551084577226752?s=20

## CBsになってよかったこと

何番煎じ感ありますが…

### 最新情報をキャッチできる！！！

NDAを結ぶので、未公開の最新情報をいち早くキャッチできます。
WebinarはだいたいUTC時間なのでAP民にはちょっとつらいけど…

### CBs同士の交流がある！！！

AWS EC2(ubuntu22.04)をValheim Serverにする

AWS EC2をValheimゲームサーバとして利用します。

# ■構成
Valheim Server : Ubuntu22.04
Valheim Client : Windows11

# ■公式wiki
https://valheim.fandom.com/wiki/Valheim_Dedicated_Server

# 1.EC2の作成
EC2を作成します。
Valheim Offical Wikiの推奨要件に従い、vCPU 4core以上となる`t3.xlarge`を使用します。
（その他割愛）


AWS re:Invent 2023 4日目のアプデ特集（myApplications、Inspector CI/CD等）

クラウドサービスAWSで最大の年次カンファレンス「AWS re:Invent」が2023年も開幕しました🎉

https://reinvent.awsevents.com/

私は昨年までオンライン配信で楽しんでいましたが、今年は初めて現地ラスベガスに訪問できましたので、会場でしか聞けないナマ情報も含めてお届けします！

:::note info
発表直後のサービスや、現地で口頭でのみ聞き取った情報なども多いため誤りを含む可能性があります。あらかじめご了承くださいますと幸いです。
:::

初日〜3日目分はこちらをどうぞ。

https://qiita.com/minorun365/items/eaf706509e5bf98d9c7e

https://qiita.com/minorun365/items/8d05dbdad9540cb80a2d

https://qiita.com/minorun365/items/037e04312bc8f4f3b25e

# 4日目のキーノートはAmazonのクセ強CTOからの発表！

木曜朝は例年、AmazonのCTOであるワーナーさんからエ

Amazon Inspectorで脆弱性をらくらく検出　　概要と初回セットアップ

# Amazon Inspectorとは？
Amazon Inspectorは、自動脆弱性管理サービスで、EC2インスタンス/Lambda関数/コンテナイメージ毎の「脆弱性」と「意図しないインターネット公開」をリアルタイムに自動検出し、脆弱性を視える化することができます。
脆弱性毎の対処の優先順位やスコア、CVE（共通脆弱性識別子）番号も表示され、
システム管理者は、OSの詳細情報を手作業で調査せずとも網羅的に具体的な脆弱性情報を自動収集でき、対処を進めるための情報も併せて得ることができます。

### 脆弱性の検出結果一覧の例

### 自分用に手順をメモっておきます。

# Inspectorの初回セットアップ

### Inspectorをアクティブ化する
補足：
リージョンサービスなので、リージョン毎にアクティブ化が必要

CloudFront オリジンサーバーがダウンしたときにsorryページを表示する方法

## はじめに
今回の構成はcloudfrontからオリジンサーバー（alb+ec2）にアクセスしたときに500番台のエラーが返ってきたときにsorryページを表示させる方法について記載します。

## 構成
今回の構成は下記になります。

## 手順
前提として上記構成がすでにあるものとします。
①cloudfrontの設定
②S3にファイルの配置

### ①cloudfrontの設定
・パスパターンを __/sorry/*__ として設定する。その他は任意で。
・エラーページで500番台すべてでカスタムエラーレスポンスを作成する。
・レスポンスページのパスは __/sorry/index.html__ とする。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazona

AWS環境インフラ刷新に関する取り組みについて

この記事はウェブクルー Advent Calendar 2023　2日目の記事になります。

昨日は、 @wc_nakaniwa さんの「ScalaのOption型について」でした。

# はじめに
今回は、現在取り組んでいるシステム基盤刷新の一部について
取り扱います。

普段は、インフラエンジニアとして、弊社取扱サービスサイトのインフラ全般
と社内イントラ周りの改善や、新規インフラ環境構築、システム基盤の刷新案件
の担当として各ベンダ様や取引先とやり取りをしております。

# OSリプレイスについて
弊社ウェブクルーでは、システム基盤刷新の案件名称をOSリプレイスと
呼んでおります。
この取り組みは、昨年から実施しており、昨年は、一部の社内サービスを
SaaS化したり、今年もシステム基盤の一部をSaaS化したり、基盤の一部を
コンテナ化実装を行ったりしております。

# TransitGateway 導入と AWSアカウント環境分割について

今年の夏に、AWSアカウントを開発、ステージング、本番 、そして元々あった共通の
アカウントに環境分割して、それに伴い、TransitGa

aws-cli のラッパースクリプトを書いて作業を超効率化する

この記事は[Wano Group Advent Calendar 2023](https://qiita.com/advent-calendar/2023/wano-group)の2日目の記事となります。
1日目は、@masafumi330 の　[全エンジニアにおすすめする本「世界一流エンジニアの思考法」](https://qiita.com/masafumi330/items/43f9129a0d3a1112640f) です。そちらもどうぞ！

また、グループ会社のEDOCODE(メインで仕事してます)の[Advent Calendar](https://adventar.org/calendars/8641)もありますので、よろしければそちらもどうぞ。

## この記事に書いていること

以前からAWSは使ってはいるのですが、そんなに突っ込んで使うことも少なく、aws-cliを使う機会もそこまで多くありませんでした。ですが、頻繁に使い出すと AWS の mangement console 触ってると、日が暮れる…とか、ストレスで死にそう…という心の声が聞こえたので、ラッパー

Amazon SESを使用したPostfixメール送信の設定手順

Amazon SESを利用してEC2(RHEL7)上のPostfixからメールを送信するための設定手順です。このガイドでは、SESの設定は扱いません。

### **1. 必要なパッケージのインストール**

PostfixでSASL認証を使用するために、必要なパッケージをインストールします。

“`bash
sudo yum install cyrus-sasl-plain
“`

### **2. Postfixの設定**

以下のコマンドを実行して、Postfixの設定を更新します。SMTPエンドポイントはAmazon SESコンソールで確認できます。

“`bash
sudo postconf -e “relayhost = [SMTPエンドポイント]:587” \
“smtp_sasl_auth_enable = yes” \
“smtp_sasl_security_options = noanonymous” \
“smtp_sasl_password_maps = hash:/etc/postfix/sasl_passwd” \
“smtp_use_tls = ye

Snykを使用したIaC脆弱性診断をやってみた

## 0. はじめに
Snyk社が次世代の脆弱性管理ツール[Snyk(スニーク)](https://go.snyk.io/jp.html)を展開されています。私はこれまで当該ツールを使用したこともなければ、Snykという言葉自体を聞いたこともありませんでした。ですが、Snyk社のQiita Advent Calender 2023の案内メールをいただいたことがきっかけで、今回初めてSnykを使用してIaCの脆弱性診断をやってみました。本記事では、脆弱性診断及び診断に基づくIaCの改善例をご紹介します。

## 1. ツールの導入
脆弱性管理ツールSnykの利用においては、お試し程度であれば無料で使用することが可能です。また、サインアップの方法にはいくつかあるようですが、下記の画面を見ると、GitHubかGoogleアカウントを保有していれば、それでサインアップすることが可能でした。
![Snyk画面1.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1567099/69291892-e07e-8c9e-8

【AWS】AWS

# AWSとは
ITサービスの構築に伴い、150を超えるサービスを提供している。
提供されるサービスのカテゴリは以下の通りである。

* コンピューティング
* ネットワーキング・コンテンツ配信
* ストレージ
* データベース
* アプリケーション統合
* コンテナ
* アナリティクス
* デベロッパー用ツール
* マネジメントとガバナンス
* セキュリティ、アイデンティティ、コンプライアンス
* 機械学習
* IoT
* 移送と転送
* フロントエンドWebとモバイル
* メディアサービス
* エンドユーザーコンピューティング
* ビジネスアプリケーション
* その他

# AWSのメリット
* 従量課金制(利用した分だけ支払い)
* 拡張性がある
* 使用するまでの時間がかからない
* 多くの知見がある

# AWSサービスの利用方法
| 種類 | 説明 |
| —- | —- |
| AWSマネジメントコンソール | AWSのサイトからログインして、各サービスを利用する。 |
| AWS CLI | パソコン端末にあるコマンドラインから各サービスを利用する |
| AW

Step FunctionsでECS Fargateのサービスの起動順を制御する

本記事は [オルトプラス Advent Calendar 2023](https://qiita.com/advent-calendar/2023/altplus2023) の12/02の記事です。

# はじめに
こんにちは。オルトプラスSREの高場です。
普段はAWSでのインフラ構築・運用をメインで行っています。
趣味は漫画収集です（最近のマイブームは佐藤二葉『アンナ・コムネナ』）。

今回はStep functionsの記事になります。
Step Functionsは、一般的にはGlueを用いたETLやAWSサービス間の連携でよく使われると思います。
こういった使い方が適しているかわからないのですが、一つのケースとしてご紹介させていただきます。

# 概要
私が担当しているプロダクトではECS Fargateを採用しており、開発環境は作業がない夜間時間帯では自動停止させ、毎朝に起動処理を行っています。
自動停止・起動自体は何度かテストを行い、問題なく運用していましたが、あるとき、サービスのの起動時にエラーが出るという問題が発生しました。
Fargateクラスター内の構成は下記の

Cognitoのトークンを取得するPythonスクリプト

Cognitoを使った認証認可周りを開発しているときに、jwtを何度も取得することになると思います。その時に使っている手元スクリプトです。シンプルですが結構使っています。

– 設定は対話形式で取得可能
– .envにも対応しています
– 必要なモジュール
– boto3
– python-dotenv

“`py
#!/usr/bin/env python
# ——————————————
# Cognitoのトークン情報を取得
# ——————————————
import base64
import hashlib
import hmac
import os
from getpass import getpass

import boto3
from dotenv import load_dotenv

# .envを読み込み
load_dotenv()

# パラメータ設定
def get_parameter(key: str) -> str:
i

【デプロイ/Streamlit】EC2から抜けてもstreamlit runが走り続けるように実装する。

# 【お知らせ】GENDAアドベントカレンダー
GENDAアドベントカレンダーのお知らせです。
GENDAアドベントカレンダーは、株式会社GENDAに所属するメンバーがお送りするアドベントカレンダーです。

https://qiita.com/advent-calendar/2023/genda

12月1日からの25日間、GENDAのプロダクト開発や組織開発に関わるメンバーが、毎日多種多様なテーマの記事をお届けする予定となっております。

# 今回の課題
streamlitで作成したアプリをEC2にgit cloneして`$ streamlit run`コマンドを実行し、アプリをEC2上で動かすところまで実装できた。
しかし、EC2から抜けると`$ streamlit run`が停止してしまうことに気づいた。

なので、今回は`$ streamlit run`がEC2上で動き続けるように、streamlitアプリのデーモン化に挑戦した。

# 実装手順
streamlitアプリを動かし続けるために以下の手順で実装した。
1. `service`ファイルを作成する。
2. 各種コ

Lambdaを使わずにDDBからS3へデータを出力する

# はじめに
この記事はミロゴス Advent Calendar 2023 2日目の投稿です。

弊社ではデータをDynamoDBにストアすることが多く、そのデータを活用するにあたって、CSVファイルをS3に置くためのLambdaを実装、定期的に実行しています。今回、DDBのS3エクスポート機能を使うことで実装をなくし、さらに定期的な実行とそのステータス管理のためにStep Functionsで処理をしていきます。

ステートマシンの完成図は下記のような形です。


# DDBからS3へのエクスポート

LambdaでDDBのデータを出力するにはテーブルに対して、ScanやQueryを行う必要があります。これらにはRead Capacity Unitが消費されるため、コストやパフォーマンス、可用性に影響が出てしまいます。それに対して、[DDBのS3エ

AWS CodeDeploy EC2「No such file or directory」というエラーが出てデプロイが失敗する

## 概要

CodeDeployでデプロイ中に`No such file or directory – /opt/codedeploy-agent/deployment-root/[ID]/[デプロイグループ名]/deployment-archive/test`というエラーが`/var/log/aws/codedeploy-agent/codedeploy-agent.log`に出てデプロイが失敗した。
筆者の場合の原因を簡単にまとめる

## 原因究明までの道のり

1. EC2インスタンスにssh接続し、下記コマンドを実行した。

“`
less /var/log/aws/codedeploy-agent/codedeploy-agent.log
“`

1. エラー内容は下記だった。

“`
No such file or directory – /opt/codedeploy-agent/deployment-root/[ID]/[デプロイグループ名]/deployment-archive/test
“`

1. 本当に

S3→Glue→MySQLをローカル環境で実行（コピペで完了！）

### やりたいこと
S3上のファイルを読み取りGlueを経由してMySQLのデータを更新する処理をpandasを使ってローカルで実装していきます。

### メリット
本来AWS環境でかかるはずの利用料金を無くすことができる。

### デメリット
処理速度がAWS環境のものに比べて遅い。

### 必要なツール
– Dcoker（もしくはRancher Desktop）
– [devcontainers](https://marketplace.visualstudio.com/items?itemName=ms-vscode-remote.remote-containers)（VSCodeの拡張機能）
– こちらの機能を使う理由は後述する`bucket_create.sh`をコンテナ起動のたびに実行するためです。

### 使用Image・バージョン
2023/12/1時点で最新のバージョンを選択しています。
– [localstack==3.0.2](https://hub.docker.com/layers/localstack/localstack/3.0.2/im