- 1. SQSとLambdaの「部分的なバッチレスポンス」を試す
- 2. Lambda で awscli を利用する
- 3. AWS CloudTrailのJSON確認とEventBridgeを活用した詳細なイベントキャプチャ手法
- 4. AWS LambdaとSSMを使用したEC2インスタンスの状態監視とALBの動的切り替え②
- 5. AWS LambdaとSSMを使用したEC2インスタンスの状態監視とALBの動的切り替え①
- 6. NestJSでログフォーマットを変更してリクエスト単位のIDを共通でログに記録する方法
- 7. 個人的な備忘録：Lambda関数でのいろいろな処理について
- 8. Lambda（python）でS3からファイルを取得し、ファイルのマジックナンバーとMIMEを判定する
- 9. Lex Bot の slots の値をLambdaで取得してみる
- 10. AWSのインフラ構築におけるベストプラクティスと代表サービスのご紹介
- 11. AWS LambdaとAPI Gatewayを使用したGETリクエスト対応のサーバーレスアーキテクチャ構築
- 12. AWS LambdaとAPI Gatewayを使用したPOSTリクエスト対応のサーバーレスアーキテクチャ構築
- 13. RDSに初期データを自動で投入する方法
- 14. 「AWS Hands-on for Beginners Serverless #3 AWS Lambda と AWS AI Services を組み合わせて作る音声文字起こし & 感情分析パイプライン」をAWS CLIでやってみる
- 15. サーバーレスCSV出力・ダウンロードの構成
- 16. AWS Lambdaで簡単な運勢占いAPIを作ってみた
- 17. Docker+AWS Lambda+Python(Flask)で簡単にサーバーレスAPIを実装する
- 18. Lambdaのエラーログを分別する方法
- 19. Amazon EventBridgeを使用したEC2上のApache監視/停止検知から自動再起動までの設定手順
- 20. AWS LambdaからAmazon Translateを呼び出してみた
SQSとLambdaの「部分的なバッチレスポンス」を試す
## 背景
SQSとLambdaを連携させるアプリケーションにおいて、メッセージ単位でのエラー処理を考える必要があり、Lambda関数に具備されている「[部分的なバッチレスポンス](https://aws.amazon.com/jp/about-aws/whats-new/2021/11/aws-lambda-partial-batch-response-sqs-event-source/)」がどのような仕組みなのかを理解するために実際に触って試した際の記録。
## 検証構成
SQS -> Lambda
## 検証
### SQS
あらかじめ適当な名前でSQSキューを作っておく。今回は標準キューを採用。
### Lambda
– SQSキューからバッチでメッセージをポーリングし、メッセージ本文をログ(CloudWatchLogs)に出力
– 部分的なバッチレスポンスの挙動を確認したいので、特定のメッセージのみ例外を発生させる(バッチで取得した最後の要素で例外を発生させる)
– 例外が発生したメッセージのIDをレスポンスに含める
– 部分的なバッチレスポンスによって、**
Lambda で awscli を利用する
# はじめに
Lambda でAWS のインスタンスを管理をさせたいとき awscli のインストールが必要になるので、これを利用できるようにする。# 概要
1. awscli を利用する EC2 のインスタンスと同じ OS を用意する (docker)
1. docker container でawscli をインストールして zip でかためる
1. zip にしたファイルを S3 に置く
1. S3 に置いたファイルをLambda のレイヤーで 指定する
1. Lamda の関数を用意して レイヤーを指定
1. bootstrap, hello.sh を用意(編集)# awscli を利用して EC2 に接続する Access キーを用意する
“`bash
# cat /var/lib/aws/aws_cli.key
アクセスキー
シークレットキー
ap-northeast-1 (ゾーン)
text
“`# awscli をインストールする環境 (docker コンテナ) の用意
Amazon Linux 2023 でawscli を動作させたいので、このOSの
AWS CloudTrailのJSON確認とEventBridgeを活用した詳細なイベントキャプチャ手法
# CloudTrailのJSON確認方法とEventBridgeでのイベントキャプチャ手法
EventBridgeは、AWSサービスやカスタムアプリケーションからのイベントを受け取り、指定したターゲットにルーティングするサービスです。CloudTrailと組み合わせることで、特定のイベントが発生した際に自動的に処理を行えます。
AWSリソースの変更やAPIコールをトリガーとしてEventBridgeで検出する場合、CloudTrailのJSONイベントを使用します。しかし、CloudTrailのコンソール画面での確認だけでは十分でないことがあります。
そこで、より詳細な条件でのイベントキャプチャ方法について解説します### 使用するリソース
1. CloudTrail
1. Eventbridge
1. Lambda
1. CloudWatch Logs## Lambdaの作成
Lambda関数内でイベントデータをログに出力することで、どのようなイベントがキャプチャされているかを確認できます。 のリスナールールを動的に変更する方法を紹介します。メンテナンスモードや通常モードへの切り替えを自動化することで、システムの可用性を高めることができます。
## 全体のコード
“`py
import boto3def lambda_handler(event, context):
ec2_client = boto3.client(‘ec2’)
ssm_client = boto3.client(‘ssm’)
elbv2_client = boto3.client(‘elbv2’)# 監視対象のEC2インスタンスIDリスト
instance_ids = [“i-0458be1d8c980e8ec”, “i-0b27db6a9b067f345”]# httpdサービスの状態を確認するためのSSM Run Command
AWS LambdaとSSMを使用したEC2インスタンスの状態監視とALBの動的切り替え①
## はじめに
AWS LambdaとAWS Systems Manager (SSM) を活用し、EC2インスタンスのhttpdサービスの状態を監視して、状態に応じてApplication Load Balancer (ALB) のリスナールールを変更する手法について解説します。具体的には、httpdサービスが停止している場合にメンテナンス用のSorryページを表示し、少なくとも1台のサービスが稼働している場合は通常のページを表示するように設定します。
## コード紹介
### 全体のコード
以下は、Lambda関数で実装されたコードです。SSM Run Commandを使用してhttpdサービスの状態を確認し、サービスの停止に応じてALBのルールを変更する処理を行います。“`py
import boto3
import timedef lambda_handler(event, context):
ssm_client = boto3.client(‘ssm’)
elbv2_client = boto3.client(‘elbv2’)#
NestJSでログフォーマットを変更してリクエスト単位のIDを共通でログに記録する方法
## ログの標準フォーマット
NestJSの標準で出力されるログは以下のような感じです
“`
[Nest] 227 – 10/09/2024, 2:47:17 PM LOG [NestFactory] Starting Nest application…
“`ただ、運用を考えると以下の点を変更できるようにしたく思いました。
– プロセスIDの前にある`[Nest]`がいらない
– プロセスIDよりリクエスト単位のIDが欲しい
– AWS Lambda上で実行するならAWSが割り振ったリクエストIDを使いたい
– 余計なスペースは削除したい
– 時間はミリ秒まで出して欲しい
– ログレベルのみでログ監視できるようにしたい## NestJSのログ拡張方法について
Loggerは一から`LoggerService`で定義されたインターフェースを実装する方法もありますが、基本的な動きは変更せずに処理を少し変更したいような場合は、`ConsoleLogger`クラスを継承して、変更したいメソッドをオーバーライドすることで対応が可能です。
外部ロガーを
個人的な備忘録：Lambda関数でのいろいろな処理について
## 全体コード
“`py
import boto3def lambda_handler(event, context):
ec2_client = boto3.client(‘ec2’)
elb_client = boto3.client(‘elbv2’)# 監視対象のEC2インスタンスのID
instance_ids = [‘i-0123456789abcdef0’, ‘i-0abcdef1234567890’]# インスタンスの状態を確認
response = ec2_client.describe_instances(InstanceIds=instance_ids)instances_stopped_count = sum(
1 for reservation in response[‘Reservations’]
for instance in reservation[‘Instances’]
if instance[‘State’][
Lambda（python）でS3からファイルを取得し、ファイルのマジックナンバーとMIMEを判定する
# やりたいこと
Lambda（python）で事前にS3バケットへアップロードしたファイルを取得し、ファイルの各メタデータであるマジックナンバーとMIMEを取り、ファイル形式を判定したい# 構築
・S3バケット
・Lambda
・IAMポリシー
・IAMロール# やり方
Lambda→S3のポリシー
“`
{
“Version”: “2012-10-17”,
“Statement”: [
{
“Sid”: “VisualEditor0”,
“Effect”: “Allow”,
“Action”: [
“s3:*”
],
“Resource”: “arn:aws:s3:::*”
}
]
}
“`Lambdaソース
“`
import boto3def lambda_handler(event, context):
# S3バケットとファイルキーを指定
Lex Bot の slots の値をLambdaで取得してみる
# はじめに
本記事では、Lexのslotに設定された値を `Code hooks` で呼ばれたLambdaで受け取る処理を実装していきます。# 環境
– Python：3.12
– Lex：v2# ゴール
Code hooksで呼ばれたLambdaでLexのslotに設定された値を受け取る# Lex
本記事では下記のようにslotが1つあるLex Botを想定してます。
何でもよいですが今回は日付入力を想定して、Slot typeを`AMAZON.Date`にしておきます。– SLots
– Name：get_date
– SLot type：AMAZON.Date
– Prompts：hoge
– Sample utterances
– {get_date}## 条件
– Aurora MySQL
– Lambdaで初期データ投入
– RDSインスタンスの起動を条件にEventBridgeでデータ投入用のLambdaを起動
– Lambda LayerはS3のrds-initバケットにrds-layer.zipとして保存
– Lambdaのソースコードはrds-initバケットにlambda.zipとして保存
– 初期データはrds-initバ
「AWS Hands-on for Beginners Serverless #3 AWS Lambda と AWS AI Services を組み合わせて作る音声文字起こし & 感情分析パイプライン」をAWS CLIでやってみる
https://pages.awscloud.com/JAPAN-event-OE-Hands-on-for-Beginners-Serverless-3-2022-reg-event.html?trk=aws_introduction_page
上記、「AWS Hands-on for Beginners Serverless #3 AWS Lambda と AWS AI Services を組み合わせて作る音声文字起こし & 感情分析パイプライン」 をAWS CLIでやってみる
ハンズオンから引用# 03 S3 トリガーで Lambda ファンクションを起動する
## S3バケット作成
### 変数
“`bash:コマンド
# バケット名
date_var=$(date +%Y%m%d) \
&& echo ${date_var}
サーバーレスCSV出力・ダウンロードの構成
こんにちは！
普段Web開発や保守をしており、
サーバーレス構成で開発を行ったので、その記事を記載します。## はじめに
今回は、サーバーレスアーキテクチャを活用した出力システムの構成についてご紹介します。
サーバーレスアーキテクチャは、スケーラビリティとコスト効率が高いため、多くの企業で採用されています。
本記事では、AWSのStep Functions、Lambda、RDS、S3を使用して、データを取得し、CSV形式でS3に保存した後、CloudFrontの署名付きURLでメール送信するシステムの構築について詳しく解説します。## 構成図
## 各サービスの役割
– Step Functions
– 一連の処理フローをオーケストレーションし、各サービス間の連携を管理します。
– Lambda
–
AWS Lambdaで簡単な運勢占いAPIを作ってみた
最近、AWS Lambdaを使って簡単なAPIを作成する方法を学んだので、アウトプットとして運勢占いAPIを作ってみました。サーバーレスで動作するため、コストを抑えつつ簡易的なAPIを作りたいときに便利です。
## どんなAPIか？
このAPIは、リクエストを送るとランダムに次の情報を返してくれる運勢占いです。https://bx7pag052e.execute-api.us-east-1.amazonaws.com/default/fotuneFunction
– 今日の運勢: 「大吉」「中吉」「凶」など
– ラッキーカラー: 「赤」「青」「緑」などのランダムな色
– ラッキーアイテム: 「使い古した靴下」「かたつむりの置物」「賞味期限切れの大福」など、ユニークで面白いアイテム## 使用技術
– AWS Lambda: サーバーレスでPython関数を実行
– API Gateway: Lambda関数をHTTPリクエストで呼び出すためのインターフェース
– Python: ランダムな運勢やアイテムを生成するためのスクリプト## APIの動作サンプル
実際にAPIを叩
Docker+AWS Lambda+Python(Flask)で簡単にサーバーレスAPIを実装する
# 🛢️ はじめに
ローカルの Docker 環境で AWS Lambda(Serverless Framework)と Python(Flask)でサーバーレス API を実装，デプロイします．非常に簡単にAPIを実装できるので便利です．皆さんも試してはいかがでしょうか．# 🛢️ 自己紹介
初めまして．趣味でweb開発を勉強している273*(ﾂﾅｻﾝﾄﾞ) / Kei.と申します．関西の大学生です．最近はフルスタック開発やツール制作を行なっています．まだまだ初心者です．# 🛢️ 完成品
以下のリポジトリにテンプレートを用意しましたので，お好きに使ってください！https://github.com/273Do/Sls-Python-Docker-TPL
# 🛢️ 実装
### 使用ツール
– [Docker](https://www.docker.com/ja-jp/)：PCの中に仮想環境を作れるツール．他のプロセスと遮断できるため環境の差をなくすことができる．
– [AWS Lambda](https://aws.amazon.com/jp/lambda/)：AWSが提
Lambdaのエラーログを分別する方法
## AWS LambdaのログをCloudWatch Logs Insightsでエラータイプ別に分析する方法
AWS Lambda関数のログデータを効率的に分析し、エラーをタイプ別にカウントした事があったので備忘に残します。
このような場合に役立つツールが**CloudWatch Logs Insights**です。
Lambda関数が出力するログデータをCloudWatch Logs Insightsを使って分析し、エラーをタイプ別に集計する方法について記載します。—
### CloudWatch Logs Insightsとは？
**CloudWatch Logs Insights**は、Amazon CloudWatchのログデータに対してクエリを実行し、迅速に必要な情報を抽出・分析するための強力なツールです。
SQLに似た構文を使い、ログメッセージをフィルタリングしたり、メトリクスを集計したりすることができます。これにより、AWS Lambdaをはじめとするさまざまなサービスのログを効果的に活用できるようになります。—
### Lambdaから出るエ
Amazon EventBridgeを使用したEC2上のApache監視/停止検知から自動再起動までの設定手順
## はじめに
AWS EC2インスタンス内でApache（httpd）のサービスを実行している場合、Apacheが停止することを検知する仕組みを導入することは、システムの可用性を確保する上で重要です。この記事では、Amazon EventBridgeを活用してApacheのサービス停止を監視する方法について解説します。
Apacheサービスの停止を監視し、迅速な対応を可能にするための設定手順を紹介します。
## 前提条件
:::note
この記事では以下のものが前提となります。**・EC2インスタンスが稼働中で、Apache（httpd）がインストールされていること。**
**・EC2インスタンスにCloudWatchエージェントがインストールされていること。**
**・AWS CLIが設定されていること。**
:::## 手順1: CloudWatchエージェントのインストールと設定
まず、EC2インスタンスにCloudWatchエージェントをインストールし、Apacheプロセスを監視できるように設定します。### CloudWatchエージェントのインストー
AWS LambdaからAmazon Translateを呼び出してみた
## はじめに
本記事は以下の記事の続編です。https://qiita.com/uccy/items/aaa0d9931095f6e05ba2
前回はLambdaを単体で動かすところまで実施しましたので、今回は**LambdaからTranslateを呼び出してみます**。
今回のゴール
参考にしたハンズオンはこちら。
https://pages.awscloud.com/JAPAN-event-OE-Hands-on-for-Beginners-Serverless-1-2022-confirmation_422.html
## やってみた
マネジメントコンソールにアクセスし、前回作成したLambda関数(translate-function)のページに行きます。
