- 1. AWS Lambdaがコンテナイメージをサポートしたので、Detectron2 を使って画像認識(Object Detection)を行うAPI を作る
- 2. AWS Lambdaのコア数を確認
- 3. Serverless でLambdaにGraphQL APIを立てる
- 4. Lambda ノート
- 5. Lambda関数をコンテナイメージで動かしてみた
- 6. AWS でサーバーレスアプリケーションのあるべき姿について考えてみた
- 7. Serverless Framework で SNS + Lambda の Slack 通知を簡単に作る
- 8. AWS Lambda LayerのTerraform化でハマったこと
- 9. S3,SNS,SQS,Lambdaを利用したファンアウト構成
- 10. 【re:Invent】AWS Lambda コンテナ試して見た
- 11. AWS Amplifyで生成したDynamoDBのテーブルにcsvデータを流し込む
- 12. AWS SAM CLI で Lambda Container Support をお試し
- 13. reInvent2020で発表されたLambdaContainerをCDKで実装してみる
- 14. AWS Lambda 上で Jinja2 を使う場合の実行時間を削減する方法
- 15. サービステストをLambda+unittest用ライブラリで実装してみる
- 16. Go+serverlessでSQS→Lambda→SES
- 17. LambdaLayer用zipをCodeBuildでお手軽に作ってみる。
- 18. メモリ上限10Gで Lambdaのコア数はどうなった!!(Re:Invent2020対応版)
- 19. serverlessでslackbotローカル開発環境構築 – serverless-offline編 –
- 20. re:Invent Andy Jassy Keynoteの気になったもの
AWS Lambdaがコンテナイメージをサポートしたので、Detectron2 を使って画像認識(Object Detection)を行うAPI を作る
この記事は[Fusic Advent Calender](https://qiita.com/advent-calendar/2020/fusic)の5日目の記事です。
昨日は [@ayasamind](https://twitter.com/ayasamind) さんの [PHP8+ Laravel8 + laravel-generatorで簡単CRUD作成からユニットテストまで書く](https://qiita.com/ayasamind/items/a5bfa65ab0b8effb26a8) でした。
[@ayasamind](https://twitter.com/ayasamind) さんといえば、先日大いにバズった [Geeks Bar Tenjin](https://twitter.com/Mr_1484/status/1332262150581075968) を企画した偉大なお方です。
月イチで開催されるらしいので、福岡にお立ち寄りの際は、ぜひ[開催日を確認](https://bar.geekstudio.work/)してみてください!—-
# やったこと
AW
AWS Lambdaのコア数を確認
2020年12月01日以降、
Lambdaで以下のアップデートが行われたことが発表されました。
・メモリ上限を10240MB(10GB)に拡大(従来は3008MB)
・vCPU数を上限6に拡大
・コンテナイメージのサポート[AWS Lambda now supports up to 10 GB of memory and 6 vCPU cores for Lambda Functions](https://aws.amazon.com/jp/about-aws/whats-new/2020/12/aws-lambda-supports-10gb-memory-6-vcpu-cores-lambda-functions/)
[AWS Lambda の新機能 – コンテナイメージのサポート](https://aws.amazon.com/jp/blogs/news/new-for-aws-lambda-container-image-support/)上記アップデートのうち、Lambdaで取り扱われるvCPUについて
Lambda内でCPU情報を取得し、どのようになっているか確認し
Serverless でLambdaにGraphQL APIを立てる
基本的にはこちらを参考にしました。
How to Make a Serverless GraphQL API using Lambda and DynamoDB
https://www.serverless.com/blog/make-serverless-graphql-api-using-lambda-dynamodbただし、イベントハンドラを“`async“`関数にしたり、GETリクエストではなくPOSTリクエストを受け付けるようにしています。
また、上記では、“`GraphQLSchema()“`などを使っていますが、スキーマの定義などに関しては、GraphQL.js公式ページを参考にしました。
Getting Started With GraphQL.js
https://graphql.org/graphql-js/あれ、「How to Make a Serverless GraphQL API」の方、ほとんど参考にしてない?笑
## 結論
特に難しいことはなく、POSTリクエストで送った値を“`event.body“`から取り出して、“`graph
Lambda ノート
# はじめに
`Lambda` から `Ruby` で `aws-sdk` つかって `DynamoDB` な話です。何番煎じやねんと思いつつ、本日付のものは一つしかないだろうということで書きます。
# ゴール的なもの
– LambdaつかってサーバレスでクラウドネイティブなWebのバックエンドをブラウザ開発してみる
– 今回はとりあえず、`Lambda` から `Ruby` で `aws-sdk` つかって `DynamoDB` へというとこまでやる
– 最終的には、AWSのあれやこれやのサービスをつなぎ合わせてアプリ作る# 開発の流れ
1. DynamoDBにテーブルつくる
2. IAMでDynamoにアクセスできるようなロール作る
3. ロールをLambdaに適用する
3. Cloud9上で、aws-sdkつかってDynamoDBを叩くコード書く
4. サーバへのデプロイとかテストとかもWebUIで簡単にできる(ショートカット覚えると快適)以下、もうちょっと具体的にかいてみます[^1]
[^1]: [ここのページ](https://business.ntt-e
Lambda関数をコンテナイメージで動かしてみた
# はじめに
この記事は [BeeX Advent Calendar 2020](https://qiita.com/advent-calendar/2020/beex) の12/6の記事です。==
今年のre:InventでLambdaがコンテナイメージをサポートしたと発表がありました。
* [AWS Lambdaがコンテナイメージのサポート](https://aws.amazon.com/jp/blogs/aws/new-for-aws-lambda-container-image-support/)
前に以下の記事で書きましたが、Lambdaで外部ライブラリを使用したい場合はLambda Layerに別途アップロードが必要でした。
今回発表されたコンテナを使うことで、その部分が簡略化できないか試してみます。
[Lambda Layerに外部のライブラリをアップロードする](https://www.capybara-engineer.com/entry/2020/06/18/160458)尚、Dockerはほとんど使ったことないので初心者レベルです。
# 環境
PC
AWS でサーバーレスアプリケーションのあるべき姿について考えてみた
この記事は、[AWS LambdaとServerless Advent Calendar 2020](https://qiita.com/advent-calendar/2020/lambda) の5日目の記事です。
## 自己紹介
バックエンドのエンジニアとしてそろそろ8年になります。
今年度の初めからサーバーレスを用いた API 開発に従事しています。
元々 C#, Java, PHPなどでサーバーアプリケーションの構築に関わっていましたが、
サーバーレスなアプリケーションの構築は初めてで、学んだことをこの場で共有していけばと思っています。## サーバーレスだからこそ実現できること
よく、サーバーインフラにまつわる設定が必要ないからサーバーレスは楽だよ、という話を聞きます。
実際、マネージドサービスのAWS Lamdbaで業務ロジックを動作させることによって、
サーバー冗長化、プロセス監視、サーバー複数台で構成されている時の様々な面倒くささ(セッション管理・デプロイなど)はなくなります。しかし、それだとサーバーレスアプリケーションで作るべき理由をあまり感じないです。
Serverless Framework で SNS + Lambda の Slack 通知を簡単に作る
任意のメッセージを Slack の特定のチャネルに通知する仕組みを AWS SNS + Lambda で作ります。
– アプリケーションから任意のメッセージを通知したい
– 複数の通知先がある(Slackとメーリングリストなど)
– しかし、通知先の設定などはなるべくアプリケーションで管理したくないこういうときに役に立つと思います
# Slack APP の登録とチャネルの Webhook URL の生成(手動)
https://api.slack.com/apps?new_app=1 にアクセスして、 Workspace に Slack APP を作成します
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/62103/751eb35a-813f-4f67-ec23-05580b893431.png)
`Incoming Webhooks` を選択します
![image.png](https://qiita-image-store.s3.ap-northeast-1.am
AWS Lambda LayerのTerraform化でハマったこと
# この記事の目的
AWS Lambda LayerをTerraform化しました。
一部手間取ったので、自分と同僚用にメモを残します。# まず結論
最終的に出来上がったTerraformはこちらです。## Terraform version
“`
$ terraform version
Terraform v0.12.24
“`## Layerを使用するLambda側
“`
resource “aws_lambda_function” “main_lambda” {
filename = “../../lambda_function/test_lambda/test_lambda.zip”
function_name = “test_lambda”
role = aws_iam_role.lambda_iam_role.arn
handler = “lambda_function.lambda_handler”
timeout = 30
runtime = “python3.8”
S3,SNS,SQS,Lambdaを利用したファンアウト構成
#ファンアウト構成とは
一つの入力に対して複数の出力がある構成Cloudformaionを使用したSNS,SQSの構築は、
検索しても少なかったので書きました。
(需要自体なさそう)##Amazon SQS(Simple Queue Service)とは
メッセージキューイングサービスです。送信側はキュー(データを先入れ先出しの構造で保持するもの)にメッセージを送り、
受信側はキューにポーリングしてメッセージを受け取ります。###標準とFIFO
SQSではタイプとして、標準とFIFO配信を選択できます。標準タイプでは、メッセージの順番を必ず保証はできません(ベストエフォート)。
FIFOタイプではメッセージの順番を守ります。
SNS、S3などのの連携をサポートしていません。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/878032/c4c6b2d6-0b10-b443-a5ba-75c5a5252b1c.png)##Amazon SNS(Simple Noti
【re:Invent】AWS Lambda コンテナ試して見た
AWS Lambda Container Support が発表されました。最大 **10GB** のサイズのコンテナイメージがデポロイできます。現時点サポートされている、全てのランタイム(Python、Node.js、Java、.NET、Go、Ruby)のベースイメージを提供します。
## 全体像
従来は Lambda コンソールからソース編集かアップロードできますが、コンテナイメージ使う場合、一旦 `Amazon ECR` に保存し、Lambda コンソールからデポロイを行います。![Lambda (1).png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/160072/b00ae1fa-23e7-64a6-1ade-24442fb673be.png)
## コンテナイメージ
### Amazon ECR (Amazon Elastic Container Registry)
コンテナイメージを AWS に保管しますので、まず `ECR` 作ります。“`sh
aws ecr create-
AWS Amplifyで生成したDynamoDBのテーブルにcsvデータを流し込む
## 概要
AmplifyのAPI機能で生成されたDynamoDBのテーブルに対し、S3に保存されたcsvデータを流し込む一手段です。流れは以下3ステップ。
1. “apmlify add API” + “amplify push” でDynamoDBテーブルを作成(ここは説明しません)
2. S3バケットに流し込みたいcsvファイルを保存(複数可)
3. Lambdaにデータ流し込みの関数を作成し実行## 背景
職場で、アプリケーションのバックエンドをLaravelからAWS Amplifyに移行することとなりました。
それに伴いデータもMySQLからDynamoDBにデータの移行が必要となり、
テーブルデータをcsvに書き出した後Dynamoでインポートしようと試みました。このミッションに壁として立ちはだかったのが、DynamoDBにはcsvのインポート機能がありません。
(エクスポート機能はあり。)
![スクリーンショット 2020-12-03 23.30.29.png](https://qiita-image-store.s3.ap-north
AWS SAM CLI で Lambda Container Support をお試し
この記事は [**セゾン情報システムズ Advent Calendar 2020**](https://qiita.com/advent-calendar/2020/sisco) 4日目の記事です。
## はじめに
AWS re:Invent 2020 で AWS Lambda の Container イメージサポートが発表されました。:rocket: **AWS Lambda now supports container images as a packaging format**
https://aws.amazon.com/about-aws/whats-new/2020/12/aws-lambda-now-supports-container-images-as-a-packaging-format/ついに AWS にも Cloud Run のようなものがきたか!と思ったそこのあなた
残念ながらあらゆるコンテナイメージを簡単に Lambda で動かすことができるという機能**ではありません**。
Lambda 関数をコンテナイメージとしてパッケージ化してデプロイでき
reInvent2020で発表されたLambdaContainerをCDKで実装してみる
# 1. はじめに
日本時間の2020年12月2日午前1時ごろから始まった1つ目のKeyNoteで、
突如LambdaContainerが発表されました([参考](https://dev.classmethod.jp/articles/lambda-support-oci-container-image/))。私も、この発表はリアルタイムでみていて「うぉぉぉぉ!」と心の中で雄叫びを上げました。
コンソールなどではすでに利用できるみたいです。また、驚いたのが、[AWS CDK](https://github.com/aws/aws-cdk)でも、LambdaContainerの発表から数時間後には
versionが`1.76.0`に上がり、その際にLambdaContainerがサポートされたみたいですねw# 2. 実装
CDKでの実装に関するドキュメントは[公式](https://docs.aws.amazon.com/cdk/api/latest/docs/@aws-cdk_aws-lambda.DockerImageCode.html)にて提供されており、これまでの
AWS Lambda 上で Jinja2 を使う場合の実行時間を削減する方法
# はじめに
[DMMグループ Advent Calendar 2020](https://qiita.com/advent-calendar/2020/dmm) 3日目の記事です。AWS Lambda 上で HTML を生成するアプリケーションを動かす場合に、 Python ランタイムを選択し [Jinja2](https://pypi.org/project/Jinja2/) を利用することが考えられます。
AWS Lambda では [コードの実行時間に対して課金される](https://aws.amazon.com/lambda/pricing/) ため、Jinja2 による HTML 生成にかかる時間が小さい方がコスト的に嬉しいです。そこでこの記事では、AWS Lambda 上で Jinja2 により HTML を生成する際に実行時間を小さくするための方法を検討します。
# 前提
下記の環境を前提とします。* AWS Lambda ランタイム: Python 3.8
* AWS Lambda メモリ割り当て: 128MB
* Jinja2: 2.11.2#
サービステストをLambda+unittest用ライブラリで実装してみる
[AWS LambdaとServerless Advent Calendar 2020](https://qiita.com/advent-calendar/2020/lambda) 3日目の記事です。
あるサービスのテスト(外部サービスとの結合テスト)を、Lambda(python)+unittestで実装してみます。
# やること
「特定の条件を満たすメールを受信した場合はBacklogに課題を起票する」というサービスをテストするエンジンをLambda+unittestで構築します。
unittestライブラリをunittestよりも上のレイヤーの試験に使います。案外使い心地がいいです。![アーキテクチャ (2).png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/43631/eb7a25a6-a128-5b83-0caa-46c6bba75132.png)
## テスト対象サービス
以下の条件を満たすメールを受信した場合に、Backlogに課題を起票します
– メールタイトルに特定の
Go+serverlessでSQS→Lambda→SES
本記事は[Fusic Advent Calendar 2020](https://qiita.com/advent-calendar/2020/fusic)の3日目の記事です。
普段の仕事ではもっぱらPHPばかりですが、最近はGoの勉強を楽しんでいます。
弊社では最近週一で有志のメンバーでGo+serverlessの勉強会を行っておりまして、今回はその課題で作成した内容の備忘録です。Serverless Frameworkを使用しています。
https://www.serverless.com/## 環境
Serverless Framework: 2.14.0
aws-cli(動作確認用): 2.1.4## 構成
色々と省略していますが、以下のような構成でSQSに来たメッセージをLambdaで取得してSESでメール通知を行うことを想定します。そして、Goを使いたいという理由でLambdaはGoで記述します。
本来、API Gateway→SQS→Lambda→SES/SNS/DynamoDBみたいなものを作ろうとしているのですが、それの一部を切り抜いている形です。エラー処理
LambdaLayer用zipをCodeBuildでお手軽に作ってみる。
# 背景
– Lambdaはサーバーレス構成に必須なサービス
– LambdaLayerは複数のLambdaで共通するモジュールを使いまわしできるサービス
– LambdaLayer用のzipを作る際には、その作業用のAmazonLinuxのEC2立てたり、Dockerコンテナ作ったりするのが理想
– 公開されているライブラリだけでなく、自身の共通モジュールも含めたりすると構築環境への転送も必要一言でいうと、使いたいが面倒くさい。
# CodeBuildがあるじゃないか
[AWS CodeBuild](https://aws.amazon.com/jp/codebuild/) は、CodeCommitやGiuhubなどのソース管理システムからソースをcloneして、各種ビルド処理後に成果物(アーティファクト)をS3にアップロード出来るサービス。
ビルド用のマシンの環境はまっさらな状態(awscliとかの基本的なのは既に入っている)。本ビルド処理前にライブラリのインストール処理とかも可能だったり、独自のAMIを使ったりする事も出来る。– 他のライブラリなどが入っていない綺麗
メモリ上限10Gで Lambdaのコア数はどうなった!!(Re:Invent2020対応版)
# 余談
TISという会社に所属している、小西です。
昨年は、Re:Invent2019 に初めて行き、まさに「熱量」を感じる機会を得られましたが、
今年は、普通に業務で、セミナーはあまり聞けませんが、新機能をウォッチしていきたいなと思います。
3年近くサーバレスをやってきたので、サーバレスをウォッチしていきたい。# 概要
Re:Invent 2020 で、High Performance Lambdaがリリースされ、メモリー上限が10Gとなり、コア数も最大6コアになりました。
ただ、メモリー設定でどうコア数が変わるかは公開されていないので実際に確認してみました。なお、Re:Invent 2020 で、メモリー設定が64MBステップから1MBステップに変わったのですが、
検証は、64MBステップで行っているので、正確な切り替わりポイントでない可能性があります。すいません。# 結論
以下の通り、最低2コアで、3Gから2G毎にコア数が上がるようです。
これまで、1536Mまで1コアでそれ以上が2コアだったようですが、大きく変更となりましたね。
課金単位も変わりましたが、実質的
serverlessでslackbotローカル開発環境構築 – serverless-offline編 –
#何を作ろうとしている
slack apiフレームワークのboltをAWS Lambda上で動かして、さらにはDynamoDBとかも連携したSlackbotを作ろうとしている。#目指す開発環境
####ここから
マジで何も分からないところからどうにかこうにかserverlessを使ってAWSに簡単なlambda関数をデプロイ出来るようになりました
でも結構速いPCでもデプロイに一回1分以上かかる####こうなった!
serverless-offlineを使って、コードの編集が5秒ほどで自動で反映されてすぐ試せるローカルサーバーを立ち上げた。それをngrokでWEB上にURL公開、Slackからのエンドポイントに指定してローカルの方にリクエストを投げて逐次試しながら開発できる。
**この記事はserverless-offlineでローカル開発環境をserverlessの設定から立ち上げるところまでの備忘録です。**
#serverless-offlineとは
https://github.com/dherault/serverless-offline
AWS Lam
re:Invent Andy Jassy Keynoteの気になったもの
# 背景
さっきre:InventのメインイベントのAndy JassyのKeynoteが終わりました
たくさん新サービスは出ましたが、気になったものをピックアップしてみます
新サービスが発表されて詳細を見たいってなったら、だいたい[AWS News Blog](https://aws.amazon.com/jp/blogs/aws/)に記事が出るので、それを見てました# 気になったもの一覧
## コンピューティング
### Lambdaコンテナ対応[New for AWS Lambda – Container Image Support | Amazon Web Services](https://aws.amazon.com/jp/blogs/aws/new-for-aws-lambda-container-image-support/)
### AWS Proton
[Preview: AWS Proton – Automated Management for Container and Serverless Deployments | Amazon Web Serv