- 1. LambdaからFargateへの切り替える際にNode.jsアプリのタスクスペックをどう決めたか？
- 2. ECS schedule taskの多重起動を防ぐ
- 3. AWS Lambda, CloudWatch, SNS, SSMを活用したApache Webサーバーの監視と自動再起動の技術検証
- 4. AWS EventBridgeとSSMのRun Commandを活用したEC2インスタンスのApache自動起動
- 5. AWS EventBridgeでEC2インスタンスの起動を検知し、LambdaとSSMを連携して自動化する方法
- 6. SQSとLambdaの「部分的なバッチレスポンス」を試す
- 7. Lambda で awscli を利用する
- 8. AWS CloudTrailのJSON確認とEventBridgeを活用した詳細なイベントキャプチャ手法
- 9. AWS LambdaとSSMを使用したEC2インスタンスの状態監視とALBの動的切り替え②
- 10. AWS LambdaとSSMを使用したEC2インスタンスの状態監視とALBの動的切り替え①
- 11. NestJSでログフォーマットを変更してリクエスト単位のIDを共通でログに記録する方法
- 12. 個人的な備忘録：Lambda関数でのいろいろな処理について
- 13. Lambda（python）でS3からファイルを取得し、ファイルのマジックナンバーとMIMEを判定する
- 14. Lex Bot の slots の値をLambdaで取得してみる
- 15. AWSのインフラ構築におけるベストプラクティスと代表サービスのご紹介
- 16. AWS LambdaとAPI Gatewayを使用したGETリクエスト対応のサーバーレスアーキテクチャ構築
- 17. AWS LambdaとAPI Gatewayを使用したPOSTリクエスト対応のサーバーレスアーキテクチャ構築
- 18. RDSに初期データを自動で投入する方法
- 19. 「AWS Hands-on for Beginners Serverless #3 AWS Lambda と AWS AI Services を組み合わせて作る音声文字起こし & 感情分析パイプライン」をAWS CLIでやってみる
- 20. サーバーレスCSV出力・ダウンロードの構成
LambdaからFargateへの切り替える際にNode.jsアプリのタスクスペックをどう決めたか？
最近、LambdaからFargateに移行して、Node.js(NestJS)アプリの動作を最適化するためにタスクスペック(CPUやメモリの割り当て)についていろいろ試行錯誤しました。この経験を踏まえて、最適な設定を見つけるまでの流れを共有します。
## Lambdaとの違い
最初はLambdaを使っていたんですが、リクエストごとに新しい環境が立ち上がり、リソースの競合がなくて快適でした。短い処理ならLambdaが効率的で、オートスケーリングも自動的に対応してくれていました。でも、長時間稼働するバッチ処理や大量データの処理になると、Lambdaではコールドスタートやタイムアウト(30 s)が気になってきました。そこで、より柔軟なリソース管理ができるFargateに移行することに決めました。
## Fargateに移行してみて: タスクスペックの試行錯誤
Fargateの強みは、CPUやメモリなどのリソースを自分で細かく設定できるところですが、これが逆に難しくもあります。Node.jsはシングルスレッドで動くので、どのくらいのリソースが最適なのかを見極める必要がありました。#
ECS schedule taskの多重起動を防ぐ
## はじめに
ECS schedule taskなどで動かしているバッチ処理はアプリケーションの方で冪等性を
担保していることが多いと思います。ただ、今回はアプリケーションの変更が
難しい際に、タスクの多重起動を防ぐことによって、問題を解消するアプローチ方法について書きます！## 構成
StepFunctionsからECS taskとLambdaは起動可能なので
ECS taskとEventBridgeの間にStepFunctionsを挟み、そこで、Lambdaを
呼び出し、すでに起動しているタスク(ステートマシン)がないかを確認するという処理を行います。
## StepFunctionsのフロー
ステートマシンは以下のように定義していきます！
“`
{
“StartAt”: “get execution id”,
“Sta
AWS Lambda, CloudWatch, SNS, SSMを活用したApache Webサーバーの監視と自動再起動の技術検証
## はじめに
この記事は、前回の記事に続き、AWS Lambdaを活用したApache Webサーバーの監視・自動再起動設定について解説します。前回の記事の内容をもとに、Lambda関数を使ったさらなる自動化の手順を紹介します。
https://qiita.com/free-honda/items/d7eb9e39cfc95ac6e91b
今回の記事では、Lambda関数を使ってApacheサービスを自動再起動する手順を追加し、その設定方法を詳しく説明します。
## 知識整理
:::note warn
[前回の記事](https://qiita.com/free-honda/items/d7eb9e39cfc95ac6e91b)では、以下の内容について説明しました。**前提準備：AWS環境の準備**
**⓵Apacheのインストールと設定**
**⓶CloudWatchエージェントのインストール**
**⓷CloudWatchエージェントの設定ファイルの作成**
**⓸ApacheのHTTPポート監視**
**⓹CloudWatchアラームの作成**
:::これに
AWS EventBridgeとSSMのRun Commandを活用したEC2インスタンスのApache自動起動
## はじめに
AWS Systems Manager (SSM) の Run Command は、AWS環境内のEC2インスタンスなどをリモート操作できる強力なツールです。Run Commandの基本的な使い方については、前回の記事でも詳しく説明していますので、興味がある方はぜひご覧ください。
https://qiita.com/free-honda/items/f2a2e922a826c2b45a18
https://qiita.com/free-honda/items/071fc55d2c8f2aee57c3
この記事では、EventBridgeを使用してEC2インスタンスの起動を検知し、Lambda関数をトリガーとしてSSMコマンドを実行します。
さらに、指定のインスタンスにApacheのサービスを自動起動させる自動化の流れを解説します。
## 前提条件
この手順では、AWSの各種サービスを活用して、インスタンスの起動を動的に検知し、Apacheサービスの起動を自動化するフローを構築します。 の Run Command は、AWS環境内のEC2インスタンスなどをリモート操作できる強力なツールです。この記事では、EventBridgeを使用してEC2インスタンスの起動を検知し、Lambda関数をトリガーとしてSSMコマンドを実行し、指定のインスタンスにメッセージを出力する自動化の流れを解説します。
Run Commandの基本的な使い方については、前回の記事でも詳しく説明していますので、興味がある方はぜひご覧ください。
https://qiita.com/free-honda/items/f2a2e922a826c2b45a18
## 前提条件
この手順では、AWSの各種サービスを活用して、インスタンスの起動を動的に検知し、コマンド実行まで自動化するフローを構築します。
」がどのような仕組みなのかを理解するために実際に触って試した際の記録。
## 検証構成
SQS -> Lambda
## 検証
### SQS
あらかじめ適当な名前でSQSキューを作っておく。今回は標準キューを採用。
### Lambda
– SQSキューからバッチでメッセージをポーリングし、メッセージ本文をログ(CloudWatchLogs)に出力
– 部分的なバッチレスポンスの挙動を確認したいので、特定のメッセージのみ例外を発生させる(バッチで取得した最後の要素で例外を発生させる)
– 例外が発生したメッセージのIDをレスポンスに含める
– 部分的なバッチレスポンスによって、**
Lambda で awscli を利用する
# はじめに
Lambda でAWS のインスタンスを管理をさせたいとき awscli のインストールが必要になるので、これを利用できるようにする。# 概要
1. awscli を利用する EC2 のインスタンスと同じ OS を用意する (docker)
1. docker container でawscli をインストールして zip でかためる
1. zip にしたファイルを S3 に置く
1. S3 に置いたファイルをLambda のレイヤーで 指定する
1. Lamda の関数を用意して レイヤーを指定
1. bootstrap, hello.sh を用意(編集)# awscli を利用して EC2 に接続する Access キーを用意する
“`bash
# cat /var/lib/aws/aws_cli.key
アクセスキー
シークレットキー
ap-northeast-1 (ゾーン)
text
“`# awscli をインストールする環境 (docker コンテナ) の用意
Amazon Linux 2023 でawscli を動作させたいので、このOSの
AWS CloudTrailのJSON確認とEventBridgeを活用した詳細なイベントキャプチャ手法
# CloudTrailのJSON確認方法とEventBridgeでのイベントキャプチャ手法
EventBridgeは、AWSサービスやカスタムアプリケーションからのイベントを受け取り、指定したターゲットにルーティングするサービスです。CloudTrailと組み合わせることで、特定のイベントが発生した際に自動的に処理を行えます。
AWSリソースの変更やAPIコールをトリガーとしてEventBridgeで検出する場合、CloudTrailのJSONイベントを使用します。しかし、CloudTrailのコンソール画面での確認だけでは十分でないことがあります。
そこで、より詳細な条件でのイベントキャプチャ方法について解説します### 使用するリソース
1. CloudTrail
1. Eventbridge
1. Lambda
1. CloudWatch Logs## Lambdaの作成
Lambda関数内でイベントデータをログに出力することで、どのようなイベントがキャプチャされているかを確認できます。 のリスナールールを動的に変更する方法を紹介します。メンテナンスモードや通常モードへの切り替えを自動化することで、システムの可用性を高めることができます。
## 全体のコード
“`py
import boto3def lambda_handler(event, context):
ec2_client = boto3.client(‘ec2’)
ssm_client = boto3.client(‘ssm’)
elbv2_client = boto3.client(‘elbv2’)# 監視対象のEC2インスタンスIDリスト
instance_ids = [“i-0458be1d8c980e8ec”, “i-0b27db6a9b067f345”]# httpdサービスの状態を確認するためのSSM Run Command
AWS LambdaとSSMを使用したEC2インスタンスの状態監視とALBの動的切り替え①
## はじめに
AWS LambdaとAWS Systems Manager (SSM) を活用し、EC2インスタンスのhttpdサービスの状態を監視して、状態に応じてApplication Load Balancer (ALB) のリスナールールを変更する手法について解説します。具体的には、httpdサービスが停止している場合にメンテナンス用のSorryページを表示し、少なくとも1台のサービスが稼働している場合は通常のページを表示するように設定します。
## コード紹介
### 全体のコード
以下は、Lambda関数で実装されたコードです。SSM Run Commandを使用してhttpdサービスの状態を確認し、サービスの停止に応じてALBのルールを変更する処理を行います。“`py
import boto3
import timedef lambda_handler(event, context):
ssm_client = boto3.client(‘ssm’)
elbv2_client = boto3.client(‘elbv2’)#
NestJSでログフォーマットを変更してリクエスト単位のIDを共通でログに記録する方法
## ログの標準フォーマット
NestJSの標準で出力されるログは以下のような感じです
“`
[Nest] 227 – 10/09/2024, 2:47:17 PM LOG [NestFactory] Starting Nest application…
“`ただ、運用を考えると以下の点を変更できるようにしたく思いました。
– プロセスIDの前にある`[Nest]`がいらない
– プロセスIDよりリクエスト単位のIDが欲しい
– AWS Lambda上で実行するならAWSが割り振ったリクエストIDを使いたい
– 余計なスペースは削除したい
– 時間はミリ秒まで出して欲しい
– ログレベルのみでログ監視できるようにしたい## NestJSのログ拡張方法について
Loggerは一から`LoggerService`で定義されたインターフェースを実装する方法もありますが、基本的な動きは変更せずに処理を少し変更したいような場合は、`ConsoleLogger`クラスを継承して、変更したいメソッドをオーバーライドすることで対応が可能です。
外部ロガーを
個人的な備忘録：Lambda関数でのいろいろな処理について
## 全体コード
“`py
import boto3def lambda_handler(event, context):
ec2_client = boto3.client(‘ec2’)
elb_client = boto3.client(‘elbv2’)# 監視対象のEC2インスタンスのID
instance_ids = [‘i-0123456789abcdef0’, ‘i-0abcdef1234567890’]# インスタンスの状態を確認
response = ec2_client.describe_instances(InstanceIds=instance_ids)instances_stopped_count = sum(
1 for reservation in response[‘Reservations’]
for instance in reservation[‘Instances’]
if instance[‘State’][
Lambda（python）でS3からファイルを取得し、ファイルのマジックナンバーとMIMEを判定する
# やりたいこと
Lambda（python）で事前にS3バケットへアップロードしたファイルを取得し、ファイルの各メタデータであるマジックナンバーとMIMEを取り、ファイル形式を判定したい# 構築
・S3バケット
・Lambda
・IAMポリシー
・IAMロール# やり方
Lambda→S3のポリシー
“`
{
“Version”: “2012-10-17”,
“Statement”: [
{
“Sid”: “VisualEditor0”,
“Effect”: “Allow”,
“Action”: [
“s3:*”
],
“Resource”: “arn:aws:s3:::*”
}
]
}
“`Lambdaソース
“`
import boto3def lambda_handler(event, context):
# S3バケットとファイルキーを指定
Lex Bot の slots の値をLambdaで取得してみる
# はじめに
本記事では、Lexのslotに設定された値を `Code hooks` で呼ばれたLambdaで受け取る処理を実装していきます。# 環境
– Python：3.12
– Lex：v2# ゴール
Code hooksで呼ばれたLambdaでLexのslotに設定された値を受け取る# Lex
本記事では下記のようにslotが1つあるLex Botを想定してます。
何でもよいですが今回は日付入力を想定して、Slot typeを`AMAZON.Date`にしておきます。– SLots
– Name：get_date
– SLot type：AMAZON.Date
– Prompts：hoge
– Sample utterances
– {get_date}## 条件
– Aurora MySQL
– Lambdaで初期データ投入
– RDSインスタンスの起動を条件にEventBridgeでデータ投入用のLambdaを起動
– Lambda LayerはS3のrds-initバケットにrds-layer.zipとして保存
– Lambdaのソースコードはrds-initバケットにlambda.zipとして保存
– 初期データはrds-initバ
「AWS Hands-on for Beginners Serverless #3 AWS Lambda と AWS AI Services を組み合わせて作る音声文字起こし & 感情分析パイプライン」をAWS CLIでやってみる
https://pages.awscloud.com/JAPAN-event-OE-Hands-on-for-Beginners-Serverless-3-2022-reg-event.html?trk=aws_introduction_page
上記、「AWS Hands-on for Beginners Serverless #3 AWS Lambda と AWS AI Services を組み合わせて作る音声文字起こし & 感情分析パイプライン」 をAWS CLIでやってみる
ハンズオンから引用# 03 S3 トリガーで Lambda ファンクションを起動する
## S3バケット作成
### 変数
“`bash:コマンド
# バケット名
date_var=$(date +%Y%m%d) \
&& echo ${date_var}
サーバーレスCSV出力・ダウンロードの構成
こんにちは！
普段Web開発や保守をしており、
サーバーレス構成で開発を行ったので、その記事を記載します。## はじめに
今回は、サーバーレスアーキテクチャを活用した出力システムの構成についてご紹介します。
サーバーレスアーキテクチャは、スケーラビリティとコスト効率が高いため、多くの企業で採用されています。
本記事では、AWSのStep Functions、Lambda、RDS、S3を使用して、データを取得し、CSV形式でS3に保存した後、CloudFrontの署名付きURLでメール送信するシステムの構築について詳しく解説します。## 構成図
## 各サービスの役割
– Step Functions
– 一連の処理フローをオーケストレーションし、各サービス間の連携を管理します。
– Lambda
–
