- 1. Lambdaのトリガーでフィルタリングを使う
- 2. AWSのIAMの変更イベントをLambdaで処理する
- 3. パラメータストアからの値の取得でハマった件
- 4. AWS lambdaに付与するロール
- 5. エンジニアインターン12日目
- 6. REST APIでDynamoDBのテーブルを操作
- 7. 想定外のメール大量送信によるSNSサブスクリプションの非アクティブ化に対処する
- 8. CloudWatchログアラームの作成が面倒なので、Excelから設定値を読み込んで作成できるようにしてみた。
- 9. AWS Lambdaに固定IPを付与する時の考慮事項(NAT Gatewayは0.062ドル/時､月約45ドル）
- 10. エンジニアインターン10日目
- 11. AWS Lambda + Python で並列処理
- 12. Lambdaコンテナをローカルでデバッグする方法
- 13. ServerlssFramework でLambdaコンテナをデプロイ
- 14. AWS Lambda(node.js)でyoutube APIを利用してJSON作成した話
- 15. 【備忘】Api Gatewayのステージ変数とLambdaのエイリアスが繋がることを理解する
- 16. Lambda関数からAmazon SQSにデータを送信する時ハマったこと
- 17. AWS lambdaでEmacs key bindingを使う
- 18. 【EC2】Lambdaから時刻指定でEC2を自動起動・停止を時刻実現する
- 19. 【別アカウントのLambda】を実行可能なLambdaをNode18 + AWS SDK for JavaScript v3で構築してみる
- 20. VPCアクセス可能なlambda関数をamplifyで作成する方法 発展版 ~ env毎にVPCを切替可能とする
Lambdaのトリガーでフィルタリングを使う
# Lambda のイベントフィルタリング
Lambdaをトリガーする際、イベントに含まれるデータをフィルタリングしてトリガーを制御できる。https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/invocation-eventfiltering.html
# Dynamodb Streamのイベントをフィルタリング
DynamoDBに新規レコードが追加された場合、下記の３つのイベントが発生する。
– INSERT – a new item was added to the table.
– MODIFY – one or more of an existing item’s attributes were modified.
– REMOVE – the item was deleted from the tablehttps://docs.aws.amazon.com/ja_jp/amazondynamodb/latest/APIReference/API_streams_Record.html
今回は新規登録（INSE
AWSのIAMの変更イベントをLambdaで処理する
# 一般的な方法
[前記事](https://qiita.com/hayayu0/items/5d3a176a130e3221408f) の最後で言及したのですが、一般的な方法は、
【米国東部(バージニア北部)リージョンの EventBridge ルール】
↓
【米国東部(バージニア北部)リージョンの SNSトピック】の2つのサービスの連携があって、そのうち、【SNSトピック】の代わりに【Lambda関数】にすれば、連携できます。
手順は、[AWSドキュメント – AWS アカウントに IAM の変更が加えられたときに通知を受け取るにはどうすればよいですか?](https://aws.amazon.com/jp/premiumsupport/knowledge-center/iam-eventbridge-sns-rule/) に記載がありますので、このリンク先に従って進めていき、SNSのところだけLambda関数にすれば実装できます。
# 別リージョンのLambda関数にイベントを渡す方法
上記の例では、Lambda関数はIAMのイベントを拾えるリージョンと同じ
パラメータストアからの値の取得でハマった件
# Lambda Extension
Lambdaで処理を行う際に、将来変更が予測される値をパラメータストアにセットされていて、そこから値を取得するケースは良くあると思います
今年の10月にAWSから[Lambda Extension](https://aws.amazon.com/jp/blogs/compute/using-the-aws-parameter-and-secrets-lambda-extension-to-cache-parameters-and-secrets/)が発表され、SDKを使わずに、このLambda Extensionを使う方が多くなっているのではないでしょうか# ハマったところ
`/` のエンコードです
パラメータストアの名称は `/` で階層化組織化を行っているかと思います
Lambda Extensionは、httpでリクエストを飛ばすので、パラメータストア名にもエンコードが必要となります
ただ、`/`は普通にUrlの区切り文字ですので、一工夫必要となりました“`example.py
from urllib.parse import q
AWS lambdaに付与するロール
# 概要
– lambdaに付与するロールを作るときのマネージドポリシーの組み合わせをまとめる。
# 前提
– 下記のIAMロールはロール作成時の「ユースケース」で「lambda」を選択しているか、「IAM」→「ロール」→「当該ロール」と移動し「信頼関係」のタブの「信頼されたエンティティ」を見たときにPrincipalで下記の様にlambdaが設定されていること。
“`json
“Principal”: {
“Service”: “lambda.amazonaws.com”
},
“`– 信頼されたエンティティの例
“`json
{
“Version”: “2012-10-17”,
“Statement”: [
{
“Effect”: “Allow”,
“Principal”: {
“Service”: “lambda.amazonaws.com
エンジニアインターン12日目
今日は前回苦戦したDBからurlを引っ張ってくることに成功した。handle_functionを正しく入力したおかげで動くようになった。引っ張ってきたurlを使ってクローリングもできるよつになった。動くようになった時はとても嬉しかった。次のタスクとしてurlのパラメータを変更してなるべく軽い仕組みを作ることだった。先輩エンジニアに説明を聞いたものの実際コーディングしていると全くわからない状態だった。この課題は次に解決することにした。
今日はとても頭を使った。疲れた。でももっと頑張らないとこれの繰り返しだ…がんばろ！
REST APIでDynamoDBのテーブルを操作
## 概要
REST APIでAWS上のDynamoDBのテーブル操作を行う方法を記載
CURLでAPI GatewayにデプロイしたAPIを叩いてDynamoDBと通信## 目次
1. REST APIとは
1. DynamoDBのテーブルを作成
1. ロールの作成
1. Lambda関数を作成
1. API GatewayでAPIをデプロイ
1. CURLによる動作確認## 1. REST APIとは
REST APIは、REST（Representational State Transfer）の原則に基づいて設計されたAPIのことを指し、HTTP通信によって、データの作成/読み取り/更新/削除の機能を実行できます。要求されたリソースに関する情報を提供し、以下の4つのメソッドを使用してリソースの処理方法を記述します。
GET：リソースを取得
POST：リソースを作成
PUT：リソースを更新
DELETE：リソースを削除
また、リソースを様々な形式（HTML/XML/JSON/バイナリ）で表現できるようになっています。## 2. DynamoDBのテーブルを作成
一連の手
想定外のメール大量送信によるSNSサブスクリプションの非アクティブ化に対処する
# はじめに
Amazon SNSには、Eメッセージの配信レート（1秒あたり10件）の上限を超過した場合に、SNSサブスクリプションを非アクティブ化させる仕様があります。
参考URL： [Amazon SNS サブスクリプションを手動で無効にしたことを示す E メールが AWS から届いたのはなぜですか?](https://aws.amazon.com/jp/premiumsupport/knowledge-center/sns-email-subscription-disabled/ “AWS公式ドキュメント”)つい先日この問題を対処したことがあったため、投稿しました。
# 発生ケース
1. CloudWatch Logsのロググループにサブスクリプションフィルターを設定
1. サブスクリ
CloudWatchログアラームの作成が面倒なので、Excelから設定値を読み込んで作成できるようにしてみた。
# はじめに
こんにちは、山田です。
今回は、CloudWatchログアラームをExcelから作成する方法について記載していきます。
よろしくお願いします。
# 概要図
概要図は以下の通りです。
①：Lambdaを用いて、Excelファイルを作成してS3にアップロードします。
②：作成されたExcelファイルをダウンロードします。
③：ダウンロード後、Excelファイルを記入してアップロードします。
④：Lambdaを用いて、Excelファイルを読み込みCloudWatchアラームを作成します。
# エクセルファイル作成用Lmabdaのフローチャート・コード
エクセルファイル作成用Lmabdaのフローチャート・コードはそれぞれ以下になります。
## フローチャート
フローチャートは以下の通りです。
を借りられる(3年予約)料金じゃないか･･･｡[](https://gyazo.com/79c797e8431503a4fbc82fd6a53ca65d)
これは､ある外部システムとの連携機能をAWS Lambdaで実装したのですが､IP制限に対応するために固定IPを持たせる必要があったため｡
不覚にも発生する料金はElastic IPだけだと思いこんでました｡涙
反省｡
エンジニアインターン10日目
今日はpythonを使ってスクレイピングをした。Beautifulsoupを使ってDOM要素を取り、得た情報を配列に渡して、DBに保存する仕組みだった。複数のページからスクレイピングをしたかったため、urlを配列に渡して、ページごとに正しい値を取るようにした。lambda上でtestをしてエラーを解決しながら進めた。やはり、初心者だと、エラーを解決するのに時間がかかってしまったり、工夫がまだまだ足りていない。そこで、先輩エンジニアに質問することでエラーに対する工夫の仕方や考え方などを教えていただくことができる。自分で検索して探すことももちろん大切であるが、いつでも質問できて、改善させてくれるような環境を持つこともとても大切であると考えた。そろそろインターンを初めて1か月を立とうとしている自分にもタスクに対する責任感も出てきて、日々成長した姿を証明していきたいと思う。しかし、まだまだ分からないことの方が多い。失敗を恐れず、チャレンジを辞めずに成長していきたい。
AWS Lambda + Python で並列処理
AWS Lambda で Python の multiprocessing を扱おうとしたら少しハマったのでメモしておく。
:::note warn
この記事内のコードはすべて AWS Lambda の Python 3.9 ランタイムで実行する想定で書かれています。
:::## 例題
例えば、以下のような Lambda 関数があるとする。“` python:main.py
from time import sleepdef square(n: int) -> int:
“””1秒かけて入力値の2乗を返す関数”””
sleep(1)
return n ** 2def handler(event, context):
return [square(i) for i in range(5)]
“`この関数の実行には5秒かかってしまうため、 `square` 関数を並列処理して実行時間を短縮したい。
## asyncio 版
まずはシンプルにイベントループで非同期処理できないか考える。Python の非同期処理と言えば `a
Lambdaコンテナをローカルでデバッグする方法
## 概要
Lambdaをコンテナ毎デプロイすることができるようになりましたが、
今回は、ローカル環境でデバッグする方法について書き記します。
わざわざデプロイしてクラウド環境上でテストする手間が省けます。## 方法
ファイル構成は以下となります（ServerlessFrameworkを利用しています）
“`
aws-python-docker-demo
├── Dockerfile
├── README.md
├── app.py
├── requirements.txt
└── serverless.yml
“`今回デバッグ用に用意したコードはこちらです。
シンプルにリクエストの結果を返却するコードを書いています。“`app.py
import json
import requestsdef handler(event, context):
res = requests.get(“http://example.com”)
response = {
“statusCode”: 200,
“body”: re
ServerlssFramework でLambdaコンテナをデプロイ
## 概要
Lambdaの関数コードをコンテナイメージでデプロイすることができますが、
今回はServerlessFrameworkを使って簡単にクラウド環境にデプロイする手順を書き記します。## 手順
1.サンプルコードを作成
“`
$ serverless create –template aws-python-docker –path aws-python-docker-demo
✔ Project successfully created in “aws-python-docker-demo” from “aws-python-docker” template (3s)
“`2.デプロイコマンド実行
“`
$ serverless deployDeploying aws-python-docker-demo to stage dev (ap-northeast-1)
✔ Service deployed to stack aws-python-docker-demo-dev (187s)
functions:
hello: aws-py
AWS Lambda(node.js)でyoutube APIを利用してJSON作成した話
## どんな記事
・AWSを使ってyoutube APIにアクセスするLambda関数を作成したときのお話
node.jsの作成例が少なかったのでこんな感じでうまくいったよが伝われば・・## 利用技術
・AWS Lambda
・AWS S3
・youtube-node(youtube API) ※google developerに登録する
・node.js 16## 前提条件
・node.js 16での開発パッケージのインストール
“`
npm install youtube-node
npm install aws-sdk
“`## 作成したコード（抜粋）
“`
const AWS = require(‘aws-sdk’);
const s3 = new AWS.S3({‘region’:’＜地域＞’});const Youtube = require(‘youtube-node’);
const youtube = new Youtube();exports.handler = function(event, context, callbac
【備忘】Api Gatewayのステージ変数とLambdaのエイリアスが繋がることを理解する
# まえがき
Api GatewayとLambdaで構成されているサーバーレス環境の話。
Api Gatewayの複数のエンドポイントと同じLambda関数を紐付けることができます。
たとえばdev環境とprod環境があってLambda関数がひとつである場合、dev環境への変更がprod環境へも反映されることになります。
dev環境で行った変更をテストした上でprod環境へ反映させたい場合、Api Gatewayのステージ変数とLambdaのエイリアスが役に立ちます。
ネット上にやり方は書いてありましたが、図解が見つけられなかったため、ここに備忘として残したいと思います。
細かい設定値や設定方法はネット上に多く存在したため省きます。# 図解
いきなり結論ですが、Api Gatewayのステージ変数とLambda関数のエイリアスのつながりは以下のようになります。
Lambda側ではエイリアス名を設定し、Api Gateway側ではステージ変数を設定することで、連携できるようになります。
;
AWS.config.update({region: ‘ap-northeast-1’});var sqs = n
AWS lambdaでEmacs key bindingを使う
# きっかけ
MacBookでAWS Lambdaでコーディング中「下の行に移動しよう。`ctrl` + `N`を連打っと。」
（新しいファイルが大量に作成された）
「おいいぃぃぃぃい！！！！」
# やったこと
LambdaのPreferenceを起動
– 歯車アイコンをクリック
画像のように「Emacs」を選択。
タグはこの様に設定します。
これだと
平日16時30分に起動して16時40分に停止する。
平日16時50分に起動して17時00分に停止する
【別アカウントのLambda】を実行可能なLambdaをNode18 + AWS SDK for JavaScript v3で構築してみる
## 先に結論だけ知りたい人のために （クロスアカウントでLambdaからLambdaをコールする方法）
この記事の要点を列挙するよ。
– 実行環境がNode18のLambdaにはAWS SDK for JavaScript v3が最初からインストールされていて便利だよ
– Invoke APIで別アカウントのLambdaをコールするよ
– コールされる対象の【別アカウントのLambda】には、リソースベースのポリシーが必要だよ
– コールする側のLambdaには、アイデンティティベースのポリシーが必要だよ“`json:コールされる対象の【別アカウントのLambda】に付与するリソースベースのポリシー
{
“Version”: “2012-10-17”,
“Id”: “default”,
“Statement”: [
{
“Sid”: “[任意の名前]”,
“Effect”: “Allow”,
“Principal”: {
“AWS”: “arn:aws:iam::[呼び出す側のAWSアカウントI
VPCアクセス可能なlambda関数をamplifyで作成する方法 発展版 ~ env毎にVPCを切替可能とする
先に以下の記事を投稿しました
https://qiita.com/kujiraza/items/458629d5a3d210ad45ad
この記事ではamplifyで1つのenvしか用いない前提で記載しています。
本記事ではこの記事（以降元記事と記載します）を発展させて、envを複数用意した場合にenv毎に別のVPCに接続するための手順を記載します。# やること
[元記事の手順](https://qiita.com/kujiraza/items/458629d5a3d210ad45ad#%E6%89%8B%E9%A0%86)をベースとして、以下の部分を変更してlambdaを作成します。
– セキュリティグループIDとサブネットグループIDをパラメータ化し、値は別ファイルに設定する
– 値の設定先としてenv毎にパラメータを指定できる`amplify/team-provider-info.json`を使用する# 前提
`amplify add env`により、devに加えてstgを作成済みとします。 これ以外は[元記事の前提](https://qiita.com/ku
