- 1. 【Amazon Connect】初心者がLambdaとの連携でひっかかったこと
- 2. 【Amazon Lex】トリガーとなる質問なしでインテントを呼び出す
- 3. Amplifyを使用してReact(Figma)とLambdaアプリケーションを爆速で作る
- 4. エンジニアインターン13日目
- 5. Lambdaのトリガーでフィルタリングを使う
- 6. AWSのIAMの変更イベントをLambdaで処理する
- 7. パラメータストアからの値の取得でハマった件
- 8. AWS lambdaに付与するロール
- 9. エンジニアインターン12日目
- 10. REST APIでDynamoDBのテーブルを操作
- 11. 想定外のメール大量送信によるSNSサブスクリプションの非アクティブ化に対処する
- 12. CloudWatchログアラームの作成が面倒なので、Excelから設定値を読み込んで作成できるようにしてみた。
- 13. AWS Lambdaに固定IPを付与する時の考慮事項(NAT Gatewayは0.062ドル/時、月約45ドル)
- 14. エンジニアインターン10日目
- 15. AWS Lambda + Python で並列処理
- 16. Lambdaコンテナをローカルでデバッグする方法
- 17. ServerlssFramework でLambdaコンテナをデプロイ
- 18. AWS Lambda(node.js)でyoutube APIを利用してJSON作成した話
- 19. 【備忘】Api Gatewayのステージ変数とLambdaのエイリアスが繋がることを理解する
- 20. Lambda関数からAmazon SQSにデータを送信する時ハマったこと
【Amazon Connect】初心者がLambdaとの連携でひっかかったこと
みなさんこんにちは!
早いものでそろそろ社会人一年目になろうとしている新卒エンジニアです。現在の部署に配属されてはじめに行ったのがAmazon ConnectとLambdaの連携だったのですが当初は思ったようにいかないことが多く、
近い未来で自分が後輩に教える立場になったときに過去の自分がどこで躓いていたかを記録したいと思い今回この記事を作成することにしました。使い慣れている方にとっては当たり前の内容ばかりになるとは思いますが、これからLambdaを触ってみたい方、同じような躓きをしている方の参考になれば幸いです。
ちなみに、Lambdaを初めて触った時点での私のスペックを簡単に紹介します。
– AWS自体入社後の新人研修で初めて触ったレベルの初心者
– Amazon Connectは研修で一度簡単なコールセンターを作成した経験あり
– Python歴は独学で3年程度、主に機械学習などの目的で使用していた
– Python3エンジニア認定基礎試験取得済(別記事に合格体験記があります)上記の理由から今回Lambdaの記述にはある程度使い慣れているPythonを使用すること
【Amazon Lex】トリガーとなる質問なしでインテントを呼び出す
# やりたいこと
* Amazon Connectの問い合わせフローでAmazon Lexを呼び出し、名前を質問する
* 質問自体はAmazon Connectのプロンプトで再生する
* 初めから聞く内容が決まっているため、Lex上で「ご用件はなんですか?」「予約をしたいです」というような最初の質問を必要としない
![会話例_トリミング.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2728375/45e4464d-9d29-262b-df13-f6e8ba99906e.jpeg)
# ①Amazon Lex
インテント名は**CheckName**に設定しました。#### スロット
![01_スロット.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2728375/3d34b528-c309-3ae1-30f0-0708c9a04fbb.jpeg)
今回このプロンプトは再生されませんが必須項目のため仮の文章を入力して
Amplifyを使用してReact(Figma)とLambdaアプリケーションを爆速で作る
# 事前準備
1. AWS CLIのインストール
– [【Windows/Mac/Linux(Ubuntu)】AWS CLIインストール方法](https://qiita.com/ryome/items/efd37c3a49b54859ba68)
2. AWS IAMアカウントの作成とaws configureの設定
– [AWS IAMアカウントの作成とaws configureの設定](https://qiita.com/ryome/items/ff2804be600cd5dcd61a)
3. AWS CodeCommit の HTTPS Git 認証情報を生成
– [AWS CodeCommit の HTTPS Git 認証情報を生成](https://qiita.com/ryome/items/066d2deea3e6fbe577ad)
4. Linuxコマンドが使用できる環境構築
– [wsl2にUbuntu環境を構築する【windows】](https://qiita.com/ryome/items/240f36923f5cb989da27)
エンジニアインターン13日目
lambdaの関数urlを使ってDBから一定の情報だけを取って配列に渡す機能を実装しようとした。apiの知識も食い込んできて難しかった。先輩エンジニアが何回も優しく説明していただきとても助かった。しかし、完成まではいかなかった…また次チャレンジだ!エンジニアインターンも約1ヶ月の期間が過ぎた。1ヶ月間で学んだことはエラーの解決法やwordpress,awsなどの新しい技術をたくさん学ぶことができた。まだまだできないことだらけだが、自分に新しい技術を任せていただき、課題にぶつかりながら成長できる環境だと思う。毎日感謝を忘れずに一生懸命にやっていきたい。
Lambdaのトリガーでフィルタリングを使う
# Lambda のイベントフィルタリング
Lambdaをトリガーする際、イベントに含まれるデータをフィルタリングしてトリガーを制御できる。https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/invocation-eventfiltering.html
# Dynamodb Streamのイベントをフィルタリング
DynamoDBに新規レコードが追加された場合、下記の3つのイベントが発生する。
– INSERT – a new item was added to the table.
– MODIFY – one or more of an existing item’s attributes were modified.
– REMOVE – the item was deleted from the tablehttps://docs.aws.amazon.com/ja_jp/amazondynamodb/latest/APIReference/API_streams_Record.html
今回は新規登録(INSE
AWSのIAMの変更イベントをLambdaで処理する
# 一般的な方法
[前記事](https://qiita.com/hayayu0/items/5d3a176a130e3221408f) の最後で言及したのですが、一般的な方法は、
【米国東部(バージニア北部)リージョンの EventBridge ルール】
↓
【米国東部(バージニア北部)リージョンの SNSトピック】の2つのサービスの連携があって、そのうち、【SNSトピック】の代わりに【Lambda関数】にすれば、連携できます。
手順は、[AWSドキュメント – AWS アカウントに IAM の変更が加えられたときに通知を受け取るにはどうすればよいですか?](https://aws.amazon.com/jp/premiumsupport/knowledge-center/iam-eventbridge-sns-rule/) に記載がありますので、このリンク先に従って進めていき、SNSのところだけLambda関数にすれば実装できます。
# 別リージョンのLambda関数にイベントを渡す方法
上記の例では、Lambda関数はIAMのイベントを拾えるリージョンと同じ
パラメータストアからの値の取得でハマった件
# Lambda Extension
Lambdaで処理を行う際に、将来変更が予測される値をパラメータストアにセットされていて、そこから値を取得するケースは良くあると思います
今年の10月にAWSから[Lambda Extension](https://aws.amazon.com/jp/blogs/compute/using-the-aws-parameter-and-secrets-lambda-extension-to-cache-parameters-and-secrets/)が発表され、SDKを使わずに、このLambda Extensionを使う方が多くなっているのではないでしょうか# ハマったところ
`/` のエンコードです
パラメータストアの名称は `/` で階層化組織化を行っているかと思います
Lambda Extensionは、httpでリクエストを飛ばすので、パラメータストア名にもエンコードが必要となります
ただ、`/`は普通にUrlの区切り文字ですので、一工夫必要となりました“`example.py
from urllib.parse import q
AWS lambdaに付与するロール
# 概要
– lambdaに付与するロールを作るときのマネージドポリシーの組み合わせをまとめる。
# 前提
– 下記のIAMロールはロール作成時の「ユースケース」で「lambda」を選択しているか、「IAM」→「ロール」→「当該ロール」と移動し「信頼関係」のタブの「信頼されたエンティティ」を見たときにPrincipalで下記の様にlambdaが設定されていること。
“`json
“Principal”: {
“Service”: “lambda.amazonaws.com”
},
“`– 信頼されたエンティティの例
“`json
{
“Version”: “2012-10-17”,
“Statement”: [
{
“Effect”: “Allow”,
“Principal”: {
“Service”: “lambda.amazonaws.com
エンジニアインターン12日目
今日は前回苦戦したDBからurlを引っ張ってくることに成功した。handle_functionを正しく入力したおかげで動くようになった。引っ張ってきたurlを使ってクローリングもできるよつになった。動くようになった時はとても嬉しかった。次のタスクとしてurlのパラメータを変更してなるべく軽い仕組みを作ることだった。先輩エンジニアに説明を聞いたものの実際コーディングしていると全くわからない状態だった。この課題は次に解決することにした。
今日はとても頭を使った。疲れた。でももっと頑張らないとこれの繰り返しだ…がんばろ!
REST APIでDynamoDBのテーブルを操作
## 概要
REST APIでAWS上のDynamoDBのテーブル操作を行う方法を記載
CURLでAPI GatewayにデプロイしたAPIを叩いてDynamoDBと通信## 目次
1. REST APIとは
1. DynamoDBのテーブルを作成
1. ロールの作成
1. Lambda関数を作成
1. API GatewayでAPIをデプロイ
1. CURLによる動作確認## 1. REST APIとは
REST APIは、REST(Representational State Transfer)の原則に基づいて設計されたAPIのことを指し、HTTP通信によって、データの作成/読み取り/更新/削除の機能を実行できます。要求されたリソースに関する情報を提供し、以下の4つのメソッドを使用してリソースの処理方法を記述します。
GET:リソースを取得
POST:リソースを作成
PUT:リソースを更新
DELETE:リソースを削除
また、リソースを様々な形式(HTML/XML/JSON/バイナリ)で表現できるようになっています。## 2. DynamoDBのテーブルを作成
一連の手
想定外のメール大量送信によるSNSサブスクリプションの非アクティブ化に対処する
# はじめに
Amazon SNSには、Eメッセージの配信レート(1秒あたり10件)の上限を超過した場合に、SNSサブスクリプションを非アクティブ化させる仕様があります。
参考URL: [Amazon SNS サブスクリプションを手動で無効にしたことを示す E メールが AWS から届いたのはなぜですか?](https://aws.amazon.com/jp/premiumsupport/knowledge-center/sns-email-subscription-disabled/ “AWS公式ドキュメント”)つい先日この問題を対処したことがあったため、投稿しました。
# 発生ケース
![SNS_AWS構成図.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1046178/e622da65-f3d9-5901-52d6-b39189ccdc72.png “SNS_AWS構成図.png”)1. CloudWatch Logsのロググループにサブスクリプションフィルターを設定
1. サブスクリ
CloudWatchログアラームの作成が面倒なので、Excelから設定値を読み込んで作成できるようにしてみた。
# はじめに
こんにちは、山田です。
今回は、CloudWatchログアラームをExcelから作成する方法について記載していきます。
よろしくお願いします。
# 概要図
概要図は以下の通りです。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1096361/54c80c37-30f4-620f-a821-a86a723978cb.png)
①:Lambdaを用いて、Excelファイルを作成してS3にアップロードします。
②:作成されたExcelファイルをダウンロードします。
③:ダウンロード後、Excelファイルを記入してアップロードします。
④:Lambdaを用いて、Excelファイルを読み込みCloudWatchアラームを作成します。
# エクセルファイル作成用Lmabdaのフローチャート・コード
エクセルファイル作成用Lmabdaのフローチャート・コードはそれぞれ以下になります。
## フローチャート
フローチャートは以下の通りです。
![フローチャート (1).png](http
AWS Lambdaに固定IPを付与する時の考慮事項(NAT Gatewayは0.062ドル/時、月約45ドル)
AWSの請求書を見たら想定外に高かったので調べたらNAT Gatewayでした。
t4g.xlarge(vCPU:4、メモリ:16GB)を借りられる(3年予約)料金じゃないか・・・。[![Image from Gyazo](https://i.gyazo.com/79c797e8431503a4fbc82fd6a53ca65d.png)](https://gyazo.com/79c797e8431503a4fbc82fd6a53ca65d)
これは、ある外部システムとの連携機能をAWS Lambdaで実装したのですが、IP制限に対応するために固定IPを持たせる必要があったため。
不覚にも発生する料金はElastic IPだけだと思いこんでました。涙
反省。
エンジニアインターン10日目
今日はpythonを使ってスクレイピングをした。Beautifulsoupを使ってDOM要素を取り、得た情報を配列に渡して、DBに保存する仕組みだった。複数のページからスクレイピングをしたかったため、urlを配列に渡して、ページごとに正しい値を取るようにした。lambda上でtestをしてエラーを解決しながら進めた。やはり、初心者だと、エラーを解決するのに時間がかかってしまったり、工夫がまだまだ足りていない。そこで、先輩エンジニアに質問することでエラーに対する工夫の仕方や考え方などを教えていただくことができる。自分で検索して探すことももちろん大切であるが、いつでも質問できて、改善させてくれるような環境を持つこともとても大切であると考えた。そろそろインターンを初めて1か月を立とうとしている自分にもタスクに対する責任感も出てきて、日々成長した姿を証明していきたいと思う。しかし、まだまだ分からないことの方が多い。失敗を恐れず、チャレンジを辞めずに成長していきたい。
AWS Lambda + Python で並列処理
AWS Lambda で Python の multiprocessing を扱おうとしたら少しハマったのでメモしておく。
:::note warn
この記事内のコードはすべて AWS Lambda の Python 3.9 ランタイムで実行する想定で書かれています。
:::## 例題
例えば、以下のような Lambda 関数があるとする。“` python:main.py
from time import sleepdef square(n: int) -> int:
“””1秒かけて入力値の2乗を返す関数”””
sleep(1)
return n ** 2def handler(event, context):
return [square(i) for i in range(5)]
“`この関数の実行には5秒かかってしまうため、 `square` 関数を並列処理して実行時間を短縮したい。
## asyncio 版
まずはシンプルにイベントループで非同期処理できないか考える。Python の非同期処理と言えば `a
Lambdaコンテナをローカルでデバッグする方法
## 概要
Lambdaをコンテナ毎デプロイすることができるようになりましたが、
今回は、ローカル環境でデバッグする方法について書き記します。
わざわざデプロイしてクラウド環境上でテストする手間が省けます。## 方法
ファイル構成は以下となります(ServerlessFrameworkを利用しています)
“`
aws-python-docker-demo
├── Dockerfile
├── README.md
├── app.py
├── requirements.txt
└── serverless.yml
“`今回デバッグ用に用意したコードはこちらです。
シンプルにリクエストの結果を返却するコードを書いています。“`app.py
import json
import requestsdef handler(event, context):
res = requests.get(“http://example.com”)
response = {
“statusCode”: 200,
“body”: re
ServerlssFramework でLambdaコンテナをデプロイ
## 概要
Lambdaの関数コードをコンテナイメージでデプロイすることができますが、
今回はServerlessFrameworkを使って簡単にクラウド環境にデプロイする手順を書き記します。## 手順
1.サンプルコードを作成
“`
$ serverless create –template aws-python-docker –path aws-python-docker-demo
✔ Project successfully created in “aws-python-docker-demo” from “aws-python-docker” template (3s)
“`2.デプロイコマンド実行
“`
$ serverless deployDeploying aws-python-docker-demo to stage dev (ap-northeast-1)
✔ Service deployed to stack aws-python-docker-demo-dev (187s)
functions:
hello: aws-py
AWS Lambda(node.js)でyoutube APIを利用してJSON作成した話
## どんな記事
・AWSを使ってyoutube APIにアクセスするLambda関数を作成したときのお話
node.jsの作成例が少なかったのでこんな感じでうまくいったよが伝われば・・## 利用技術
・AWS Lambda
・AWS S3
・youtube-node(youtube API) ※google developerに登録する
・node.js 16## 前提条件
・node.js 16での開発パッケージのインストール
“`
npm install youtube-node
npm install aws-sdk
“`## 作成したコード(抜粋)
“`
const AWS = require(‘aws-sdk’);
const s3 = new AWS.S3({‘region’:’<地域>’});const Youtube = require(‘youtube-node’);
const youtube = new Youtube();exports.handler = function(event, context, callbac
【備忘】Api Gatewayのステージ変数とLambdaのエイリアスが繋がることを理解する
# まえがき
Api GatewayとLambdaで構成されているサーバーレス環境の話。
Api Gatewayの複数のエンドポイントと同じLambda関数を紐付けることができます。
たとえばdev環境とprod環境があってLambda関数がひとつである場合、dev環境への変更がprod環境へも反映されることになります。
dev環境で行った変更をテストした上でprod環境へ反映させたい場合、Api Gatewayのステージ変数とLambdaのエイリアスが役に立ちます。
ネット上にやり方は書いてありましたが、図解が見つけられなかったため、ここに備忘として残したいと思います。
細かい設定値や設定方法はネット上に多く存在したため省きます。# 図解
いきなり結論ですが、Api Gatewayのステージ変数とLambda関数のエイリアスのつながりは以下のようになります。
Lambda側ではエイリアス名を設定し、Api Gateway側ではステージ変数を設定することで、連携できるようになります。
![image.png](https://qiita-image-store.s3.ap-nort
Lambda関数からAmazon SQSにデータを送信する時ハマったこと
# はじめに
Lambda関数からAmazon SQSにデータを送信する時、ハマったことがあったので備忘録として残しておく。# 前提条件
– Lambda関数からAmazon SQSにデータを送信する
– Lambda関数はVPC内のプライベートサブネットに設置している
– Lambda関数のIAMロールはAmazon SQSに対してフルアクセス権限を付与している
– Lambda関数はNode.jsで作成# 起こったこと
上記前提条件のもとLambda関数を実行するとタイムアウトしてしまった。
そのときのソースと実行結果はこちら
AWS公式サンプルソースのほぼコピペ
https://docs.aws.amazon.com/ja_jp/sdk-for-javascript/v2/developer-guide/sqs-examples-send-receive-messages.html“`js
var AWS = require(‘aws-sdk’);
AWS.config.update({region: ‘ap-northeast-1’});var sqs = n