- 1. AWS Step Functions と lambda を使用しアプリケーションエラーに対処する(AWSハンズオン)
- 2. 1.StepFunctionで呼び出すLambdaの作成
- 3. [AWS SAM]LambdaでScrapyクローラーを定期実行させる
- 4. Configルールに準拠していないと、自動で修正する関数を2つ作成してみた
- 5. AWS SAMのLambdaでS3へのPut権限をつける
- 6. エンジニアインターン14日目
- 7. AWS Lambda Layer の作り方 – Python編
- 8. AWS S3のobject createを感知してlambda関数を実行する（EventBridge使用）
- 9. AWS S3のobject createを感知してlambda関数を実行する（EventBridge不使用）
- 10. BentoMLのAWSへのデプロイ
- 11. 【SSTことはじめ】SST（Serverless Stack）のLive Lambda Devで、ローカルでも動作確認できるAWS Lambda開発を体感してみる
- 12. 【AWS CDK】AWS CDKを触ってみる with TypeScript。Part1: API Gateway & Lambda
- 13. 【Amazon Connect】初心者がLambdaとの連携でひっかかったこと
- 14. 【Amazon Lex】トリガーとなる質問なしでインテントを呼び出す
- 15. Amplifyを使用してReact（Figma）とLambdaアプリケーションを爆速で作る
- 16. エンジニアインターン13日目
- 17. Lambdaのトリガーでフィルタリングを使う
- 18. AWSのIAMの変更イベントをLambdaで処理する
- 19. パラメータストアからの値の取得でハマった件
- 20. AWS lambdaに付与するロール
- 21. エンジニアインターン12日目
AWS Step Functions と lambda を使用しアプリケーションエラーに対処する(AWSハンズオン)
AWS Lambdaに記述するエラー処理コードの量を減らすために、AWS Step Functions を使用して関数のエラー処理をサポートするサーバーレスワークフローを作成していきます。
Lambdaの言語はPythonです。
ちなみに今回はAWSの公式にあるハンズオンを実施したものになります。# 目次
- StepFunctionで呼び出すLambdaの作成
- Stepfunctionの作成
- 実行結果
1.StepFunctionで呼び出すLambdaの作成
まずはLambdaの作成をクリックしてLambdaを作成していきます。
今回は自前のコードを入力するので「一から作成」をクリックして関数名とランタイムを選択していきます。
[AWS SAM]LambdaでScrapyクローラーを定期実行させる
[AWS SAM（AWS サーバーレスアプリケーションモデル）](https://aws.amazon.com/jp/serverless/sam/)を使ってサーバーレスなクローラーを作り、定期実行させて結果をS3に保存することができたので、やり方をまとめておきます。
なお、Lambdaは最大でも15分の処理しか実行できないため、小さめなクローラーを想定しています。以下の3ステップで実装します。
1. [SAMのHello Worldチュートリアル](https://docs.aws.amazon.com/ja_jp/serverless-application-model/latest/developerguide/serverless-getting-started-hello-world.html)をやる
1. `template.yaml`, `requirements.txt`などを修正する
1. `app.py`にクローラーを実装する## SAMのHello Worldチュートリアルをやる
ここは公式チュートリアルで詳細に説明されているので省略します。
これをや
Configルールに準拠していないと、自動で修正する関数を2つ作成してみた
## はじめに
Lambdaの勉強もかねて、表題のような自動化を試してみました。
作成した処理は以下となります。①特定のタグがアタッチされていないと、自動でそのタグをアタッチする処理
➁特定のIAMロールがアタッチされていないと、自動でそのIAMロールをアタッチする処理## 手順
本処理のフローとしては
①Configでルール検知
➁SSM AutomationでLambdaに処理を渡す
③Lambdaで処理を実施となります。
順番に設定していきます。
※ConfigとSSM Automationについては概要レベルの説明になります。## configの設定
まずConfigの設定をしていきます。
今回はセットアップが終わっている前提で話を進めます。##### ルールの設定
Configには、AWSマネージドルールが存在し、今回はそちらを使用することになります。
※下はタグ付けのルールを選択
”% id と入力したら直った。しかも先輩エンジニアがエラーの場所のヒントをくれたおかげだった。時間をかけすぎて自分が情けなかった…まだまだ成長できる！がんばろ！
AWS Lambda Layer の作り方 – Python編
## Install python libraries
“`shell
mkdir python
pip install -t python yahoo_fin stockstats
zip -r9 layer.zip python
“`## Create Lambda layer and upload zip file
“`
aws lambda publish-layer-version \
–layer-name python-layer \
–license-info “MIT” \
–zip-file fileb://layer.zip \
–compatible-runtimes python3.7 python3.8
“`
AWS S3のobject createを感知してlambda関数を実行する（EventBridge使用）
# 概要
– S3の特定のバケットにオブジェクトがアップロード（create）されたことを感知して、そのオブジェクトの内容をconsole.logに出力するlambda関数を実行する方法をEventBridgeを使い実装してみる。
# 注意
– 本作業を実施することでAWSにて料金が発生する可能性があります。
– 料金アラートなどを予め設定し高額請求にはくれぐれもご注意ください。
– 筆者は一切の責任を負いかねます。# 前提
– 下記記事の内容は実施済みのものとして話をすすめる。
https://qiita.com/miriwo/items/4ab4dd1ca49bfa7c9387
– 条件は上記の記事と全く同じで任意のバケット（筆者の場合miriwo-testバケット）にinフォルダを作成し、そこにファイルアップロードイベントが発生した場合lamba関数でキャッチし、ログに出力する。
# 準備
– IAMロール、S3、lambdaはすでに前提の記事で設定済みのものを使用する。
| 項目 | 内容 | 備考 |
| — | — | —
AWS S3のobject createを感知してlambda関数を実行する（EventBridge不使用）
# 概要
– S3の特定のバケットにオブジェクトがアップロード（create）されたことを感知して、そのオブジェクトの内容をconsole.logに出力するlambda関数を実行する方法をEventBridgeを使わず実装してみる。
# 注意
– 本作業を実施することでAWSにて料金が発生する可能性があります。
– 料金アラートなどを予め設定し高額請求にはくれぐれもご注意ください。
– 筆者は一切の責任を負いかねます。# 準備
## IAMロール
1. 下記の情報でIAMロールを作成する。
| 項目 | 内容 | 備考 |
| — | — | — |
| 信頼されたエンティティタイプ | AWSのサービス | |
| ユースケース | Lambda | |
| 許可ポリシー | AWSLambdaBasicExecutionRole
AWSXRayDaemonWriteAccess
AmazonS3FullAccess | |
| ロール名 | get-s3-object-lambda-ro
BentoMLのAWSへのデプロイ
# はじめに
最近Model ServingのOSSとして[BentoML](https://github.com/bentoml/BentoML)に注目しています。BenteMLではクラウド環境へのデプロイをサポートする[bentoctl](https://github.com/bentoml/bentoctl)というOSSも合わせて公開しています。https://github.com/bentoml/bentoctl
現在サポートされているデプロイ先のクラウドは以下になります。
– AWS Lambda
– AWS SageMaker
– AWS EC2
– Google Cloud Run
– Google Compute Engine
– Azure Container Instances
– Heroku今回はAWSのLambdaとSageMakerへのデプロイを試してみました。
# 前提
## 環境
クラウドはAWSを利用します。操作するローカルPCは以下のような環境です。
– OS: Ubuntu 20.04(Windows WSL2）
– Docker 20
【SSTことはじめ】SST（Serverless Stack）のLive Lambda Devで、ローカルでも動作確認できるAWS Lambda開発を体感してみる
## SST（Serverless Stack）ってなに？
SST（Serverless Stack）は、モダンなフルスタックアプリケーションをAWSにデプロイする便利なフレームワークだよ。SSTには２つの側面があって、
1. CDKを内包しており、CDKを上回る簡潔さでAWSのインフラをコードで定義できるIaCツールとしての側面
2. Live Lambda DevやSSTコンソールによる開発支援ツールとしての側面の２つの機能を有しているんだ。
https://github.com/serverless-stack/sst
今回は後者の `Live Lambda DevやSSTコンソールによる開発支援ツールとしての側面` を体験すべく、SSTの雛形アプリを動かしてみるよ。
## 筆者プロフィール
Kenpal株式会社でITエンジニアとして色々いじってる faable01 です。
https://www.kenpalinc.com/
ものづくりが好きで、学生時代から創作仲間と小説を書いたりして楽しんでいたのですが、当時はその後自分がIT技術者になるとはつゆ程も思って
【AWS CDK】AWS CDKを触ってみる with TypeScript。Part1: API Gateway & Lambda
## 環境情報
* 作業環境はAWS Cloud9を利用
* cdk versionは2.63.2## 作成イメージ
AWS CDKを利用してAmazon API Gateway経由でコールできるLambdaサービスのデモを作成していきたいと思います。作成するデモイメージは以下です。
では早速手を動かしていきましょう。## CDK新規プロジェクトの作成
今回の作業環境はAWS Cloud9を利用しています。タイトルにもある通り、今回はTypeScriptでプロジェクトを作成していきます。
まずは今回使用していくプロジェクト用のディレクトリを作成します。
“`
mkdir cdk-workshop && cd cdk-workshop
“`
TypeScriptのCDKプロジェクトを作成します。（ちょっと時間かか
【Amazon Connect】初心者がLambdaとの連携でひっかかったこと
みなさんこんにちは！
早いものでそろそろ社会人一年目になろうとしている新卒エンジニアです。現在の部署に配属されてはじめに行ったのがAmazon ConnectとLambdaの連携だったのですが当初は思ったようにいかないことが多く、
近い未来で自分が後輩に教える立場になったときに過去の自分がどこで躓いていたかを記録したいと思い今回この記事を作成することにしました。使い慣れている方にとっては当たり前の内容ばかりになるとは思いますが、これからLambdaを触ってみたい方、同じような躓きをしている方の参考になれば幸いです。
ちなみに、Lambdaを初めて触った時点での私のスペックを簡単に紹介します。
– AWS自体入社後の新人研修で初めて触ったレベルの初心者
– Amazon Connectは研修で一度簡単なコールセンターを作成した経験あり
– Python歴は独学で3年程度、主に機械学習などの目的で使用していた
– Python3エンジニア認定基礎試験取得済（別記事に合格体験記があります）上記の理由から今回Lambdaの記述にはある程度使い慣れているPythonを使用すること
【Amazon Lex】トリガーとなる質問なしでインテントを呼び出す
# やりたいこと
* Amazon Connectの問い合わせフローでAmazon Lexを呼び出し、名前を質問する
* 質問自体はAmazon Connectのプロンプトで再生する
* 初めから聞く内容が決まっているため、Lex上で「ご用件はなんですか？」「予約をしたいです」というような最初の質問を必要としない
# ①Amazon Lex
インテント名は**CheckName**に設定しました。#### スロット
今回このプロンプトは再生されませんが必須項目のため仮の文章を入力して
Amplifyを使用してReact（Figma）とLambdaアプリケーションを爆速で作る
# 事前準備
1. AWS CLIのインストール
– [【Windows/Mac/Linux（Ubuntu）】AWS CLIインストール方法](https://qiita.com/ryome/items/efd37c3a49b54859ba68)
2. AWS IAMアカウントの作成とaws configureの設定
– [AWS IAMアカウントの作成とaws configureの設定](https://qiita.com/ryome/items/ff2804be600cd5dcd61a)
3. AWS CodeCommit の HTTPS Git 認証情報を生成
– [AWS CodeCommit の HTTPS Git 認証情報を生成](https://qiita.com/ryome/items/066d2deea3e6fbe577ad)
4. Linuxコマンドが使用できる環境構築
– [wsl2にUbuntu環境を構築する【windows】](https://qiita.com/ryome/items/240f36923f5cb989da27)
エンジニアインターン13日目
lambdaの関数urlを使ってDBから一定の情報だけを取って配列に渡す機能を実装しようとした。apiの知識も食い込んできて難しかった。先輩エンジニアが何回も優しく説明していただきとても助かった。しかし、完成まではいかなかった…また次チャレンジだ！エンジニアインターンも約1ヶ月の期間が過ぎた。1ヶ月間で学んだことはエラーの解決法やwordpress,awsなどの新しい技術をたくさん学ぶことができた。まだまだできないことだらけだが、自分に新しい技術を任せていただき、課題にぶつかりながら成長できる環境だと思う。毎日感謝を忘れずに一生懸命にやっていきたい。
Lambdaのトリガーでフィルタリングを使う
# Lambda のイベントフィルタリング
Lambdaをトリガーする際、イベントに含まれるデータをフィルタリングしてトリガーを制御できる。https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/invocation-eventfiltering.html
# Dynamodb Streamのイベントをフィルタリング
DynamoDBに新規レコードが追加された場合、下記の３つのイベントが発生する。
– INSERT – a new item was added to the table.
– MODIFY – one or more of an existing item’s attributes were modified.
– REMOVE – the item was deleted from the tablehttps://docs.aws.amazon.com/ja_jp/amazondynamodb/latest/APIReference/API_streams_Record.html
今回は新規登録（INSE
AWSのIAMの変更イベントをLambdaで処理する
# 一般的な方法
[前記事](https://qiita.com/hayayu0/items/5d3a176a130e3221408f) の最後で言及したのですが、一般的な方法は、
【米国東部(バージニア北部)リージョンの EventBridge ルール】
↓
【米国東部(バージニア北部)リージョンの SNSトピック】の2つのサービスの連携があって、そのうち、【SNSトピック】の代わりに【Lambda関数】にすれば、連携できます。
手順は、[AWSドキュメント – AWS アカウントに IAM の変更が加えられたときに通知を受け取るにはどうすればよいですか?](https://aws.amazon.com/jp/premiumsupport/knowledge-center/iam-eventbridge-sns-rule/) に記載がありますので、このリンク先に従って進めていき、SNSのところだけLambda関数にすれば実装できます。
# 別リージョンのLambda関数にイベントを渡す方法
上記の例では、Lambda関数はIAMのイベントを拾えるリージョンと同じ
パラメータストアからの値の取得でハマった件
# Lambda Extension
Lambdaで処理を行う際に、将来変更が予測される値をパラメータストアにセットされていて、そこから値を取得するケースは良くあると思います
今年の10月にAWSから[Lambda Extension](https://aws.amazon.com/jp/blogs/compute/using-the-aws-parameter-and-secrets-lambda-extension-to-cache-parameters-and-secrets/)が発表され、SDKを使わずに、このLambda Extensionを使う方が多くなっているのではないでしょうか# ハマったところ
`/` のエンコードです
パラメータストアの名称は `/` で階層化組織化を行っているかと思います
Lambda Extensionは、httpでリクエストを飛ばすので、パラメータストア名にもエンコードが必要となります
ただ、`/`は普通にUrlの区切り文字ですので、一工夫必要となりました“`example.py
from urllib.parse import q
AWS lambdaに付与するロール
# 概要
– lambdaに付与するロールを作るときのマネージドポリシーの組み合わせをまとめる。
# 前提
– 下記のIAMロールはロール作成時の「ユースケース」で「lambda」を選択しているか、「IAM」→「ロール」→「当該ロール」と移動し「信頼関係」のタブの「信頼されたエンティティ」を見たときにPrincipalで下記の様にlambdaが設定されていること。
“`json
“Principal”: {
“Service”: “lambda.amazonaws.com”
},
“`– 信頼されたエンティティの例
“`json
{
“Version”: “2012-10-17”,
“Statement”: [
{
“Effect”: “Allow”,
“Principal”: {
“Service”: “lambda.amazonaws.com
エンジニアインターン12日目
今日は前回苦戦したDBからurlを引っ張ってくることに成功した。handle_functionを正しく入力したおかげで動くようになった。引っ張ってきたurlを使ってクローリングもできるよつになった。動くようになった時はとても嬉しかった。次のタスクとしてurlのパラメータを変更してなるべく軽い仕組みを作ることだった。先輩エンジニアに説明を聞いたものの実際コーディングしていると全くわからない状態だった。この課題は次に解決することにした。
今日はとても頭を使った。疲れた。でももっと頑張らないとこれの繰り返しだ…がんばろ！
