Lambda関連のことを調べてみた2022年10月19日

AWS LambdaでPython向けLayerを作ろうとしたらはまった話

AWS Lambda（Python）を使ってGoogle APIにアクセスしようとしたらライブラリではまった話です。
（Python初心者なので誤った記述があるかもしれません）

# 環境
– 開発環境用にEC2 Amazon Linux2 + Python 3.7
– Google APIにはサービスアカウントでアクセスする
– Google API利用に必要なPythonパッケージ用にLambda Layerを作成する

# 参考にした記事
– メインのコード自体は「補足：サービスアカウントを使ったやり方」を
ほぼそのまま活用させていただきました。

https://www.coppla-note.net/posts/tutorial/google-calendar-api/

– 必要なパッケージについてはGoogleの「[Python quickstart](https://developers.google.com/docs/api/quickstart/python)」を参照しています。

# 事象
`pip -t`でインストールしたディレクトリを圧縮・Layer化したのに

SAMを使ってAPI-Gateway経由でAWS::Serverless::Functionから画像をダウンロードする

# はじめに

AWSのSAMでASP.NET Core WebApiプロジェクトを作りPDFなどをダウンロードする場合、APIGatewayに設定を行わないとBase64でエンコードされたファイルがダウンロードされてしまいます。
これ自体は[API Gateway REST API を使用したバイナリサポートの有効化](https://docs.aws.amazon.com/ja_jp/apigateway/latest/developerguide/api-gateway-payload-encodings.html)の記載に従い、マネジメントコンソールで操作をすれば解決はできるのですが、SAMのテンプレートでこれを指定すにはどうすればよいでしょうか？

# 前準備

AWS関連のプロジェクトテンプレートと、Lambda関連のデプロイサブコマンドをインストールしていない場合はインストールしておいてください。

“`sh
❯ dotnet new –install Amazon.Lambda.Templates
❯ dotnet tool install -g Amazon.La

AWS EC2 インスタンスタイプの自動更新

# TODO
* EC2のイベント対応で夜間に自動停止・起動
* インスタンスタイプを夜間に自動更新

# 内容

## tag
* Key=Schedule, Value= [1:スケジュールあり, 0:スケジュールなし]
* オプション
Key=InstanceType, Value= 例）t3.micro

## EventBridge
* 例）毎週木曜日0時に処理
cron(0 15 ? * WED *)

## Lambda

“`python:lambda_handler Python3.9
import boto3
import json
import pprint

def lambda_handler(event, context):
cnt = 0
log_msg = []
task_tag = ‘Schedule’

client = boto3.client(‘ec2’)
reservations = client.describe_instances(
Filters=[{

AWS Lambdaのnodejsランタイムでsharpを使うと”Something went wrong installing the \”sharp\” module”でエラーになる場合の解決法

# 結論

“`bash
$ npm install
$ rm -r node_modules/sharp/
$ npm rebuild –arch=x64 –platform=linux sharp
“`

# sharp

画像リサイズやフォーマット変換してくれる。
しかし、そのまま`npm install`しても AWS Lambda でエラーになる。

https://sharp.pixelplumbing.com/

# エラー内容
## Lambdaのエラーメッセージ

“`log
Something went wrong installing the “sharp” module

Cannot find module ‘../build/Release/sharp-linux-x64.node’
Require stack:
– /var/task/node_modules/sharp/lib/sharp.js
– /var/task/node_modules/sharp/lib/constructor.js
– /var/task/node_modules/

画像を任意のフォーマット&サイズに変換するLambda関数を作成する

任意のBase64にエンコードされた画像をリクエストで送るだけで、フォーマットとサイズを変換してレスポンスで返してくれるLambda関数を作成する方法です。

こういう汎用的なAPIが欲しくなる場面って割とあると思うので、すぐに作成できるように手順を残します。

## 例

変換前

変換後(100×100に収まるように設定)

## ユースケース

– 画像形式もサイズも

JavaプロジェクトからSQSにキューを送信してlambdaをキックする

# 前提
業務でこんな処理を実装する気がするので、簡単に予習してみます。
今回は動くか検証のみなので、ローカルで起動したJavaアプリケーション（Spring Boot）からSQSにメッセージを送信してみます。

本当はlambdaからrdsへ登録・更新する処理を実装したかったのですが、それはまた別の機会に。（なのでSQSやlambdaの名前がmergeXXXXみたいになってます。）


# 環境
– macOS: 12.6
– IntelliJ IDEA: 2022.2.3 (Community Edition)
– Gradle: 7.5
– Java: temurin 17.0.3

# 手順

## プロジェクトの作成

#### spring initializrでプロジェクト作成
[https://start

Lambda (Node.js) から SNS 経由で IOSデバイス にプッシュ通知

# はじめに
LambdaからSNS経由でアプリをインストールしたIOSデバイスにプッシュ通知する方法についてまとめました。

# 事前構築
– プッシュ通知用証明書（p12）は、発行済とする
– IOSデバイスのデバイストークンは、取得済みとする
– 参考記事
– https://kahoo.blog/howto-aws-sns-ios-push-notification/

# SNS作成
SNSでプッシュ通知の設定をします。
## プラットフォームアプリケーションの作成
`プラットフォームアプリケーションの作成`をクリックします。
![スクリーンショット 2022-10-14 16.00.24.png](https://qiita-image-store.s3.ap-northeast-1.amazon

then-request モジュールを用いて、Lambdaで HTTPリクエスト を同期処理

# はじめに
Lambdaが同期処理でAPIを叩くために、モジュールを探すと、sync-requestがありましたが、商用では非推奨で、then-requesを推奨されておりました。

`then-request`は、非同期処理ですが、`await`を使えば、同期処理できますので、Lambdaで`then-request`を使い、同期処理でAPIを叩き、結果を返す方法をまとめます。

同期的に WebページやAPIの取得をしたい場合に参考になるかと思います。

# then-requestモジュール

`then-request`モジュールを使用するため、ローカルで`then-request`モジュールをインストールします。
“`terminal
$ mkdir nodejs
$ cd nodejs
$ npm init -y
$ ls
package.json

$ npm install then-request

$ touch index.js

$ tree
.nodejs
├── index.js
├── node_modules
├── package-lock.jso

CloudFormationでAuroraとLambdaを構築。LambdaでLOAD DATA FROM S3コマンドを実行しS3のCSVファイルをAuroraにインポートする。

# 本記事の内容

– AWSが提供するCloudFormationサービスを利用し、以下を行う。
– データベースの一つであるAurora(MySQLエンジンタイプ)をシングルインスタンスで建てる。
– サーバレスアプリケーションであるLambdaを建てる。
– 構築したAuroraに対してテーブル作成とデータ投入（LOAD DATA FROM S3）をLambdaを使って実行する。

本記事の手順で以下のような構成のクラウド環境を作成します。
※AWSの操作画面はサービスリリースと共に更新されていくため、本記事をご覧いただくタイミングによっては、現在の画面と異なる場合があります。ご了承ください。本記事内の画面キャプチャーは2022年10月時点。

DBへのテーブル作成・データ投入の方法

AWS Lambdaで動かすStable Diffusion（ネガティブプロンプト対応 Diffusers v0.4.2）

# はじめに
先日(2022/10/7)、Diffusers v0.4.0がリリースされました。
9月にリリースされたv0.3.0ではONNXがサポートされてCPUでの実行がやりやすくなり、今回のv0.4.0ではポジティブプロンプトとネガティブプロンプトの両方を指定できるようになるなどの機能が追加されています。
これまでCPUでStable Diffusionを使用する場合はopenvino版を使用していましたが、本記事ではこれらの追加された機能を活用し、openvinoを使わずにAWS Lambdaにて動作確認をしてみたいと思います。

:::note alert
費用に関する注意、および、免責事項
– 注意事項
本記事ではLambda関数に設定可能なメモリ上限の割り当てを行います。
また、画像の作成には1枚に数分程度かかるなど費用が高額になる可能性があるため内容を検証する場合は十分ご注意ください。
– 免責事項
当方はこの記事を使用して生成されたコンテンツについて責任を負うものではなく、また、このプロジェクトを違法、有害、攻撃的なコンテンツの作成に使用しないでください。
:::

kintone Webhook用のAPI をLambdaオーソライザーで保護する方法について

API GatewayとLambdaを利用する時のAPIの保護の方法についての記事です。
kintone Webhookの利用に限ると、リクエストベースのLambdaオーソライザー（リクエストオーソライザー）が良かったので紹介します。

# リクエストオーソライザーを選択する理由

2022-10現在、kintone Webhookではヘッダーを付けることができない。
使えるとすればリクエストパラメーターだけ。
なのでリクエストオーソライザーが合っている。（と個人的に思います）

# 環境

* macOS
* AWS SAM CLI, version 1.58.0
* Node v16.13.1
* kintone

# API Gateway と Lambdaを作成する

SAMを利用してテンプレートから環境を作ります。

“`bash
$ sam init
Which template source would you like to use?
1 – AWS Quick Start Templates
What package type would you like to

Lambda(Go)とAuroraを接続するときにDataAPIとRDS Proxyがよくわからなかったのでまとめる

# はじめに

Lambda(Go)をServerlessFrameworkでデプロイして、次にAuroraを利用してデータ取得をしようとしたとき色々知識がなかったので苦戦しました

そこで、知識面で参考になりそうなことをまとめていきます

# なぜDataAPIかRDSProxyが必要なのか

まず最初に思ったのはなぜDataAPIまたはRDSProxyを経由してDBにアクセスしないといけないのかというのでした
Auroraにはエンドポイントがあるのでそれで直接アクセスでよいのではと考えました
しかし、Lambdaからやる場合は直接ではなく、どちらかを仲介したほうが良いです。

使う理由は「DBへの接続数が多くなってしまうのを防ぐため」です。接続プーリングをうまいことやってくれるようでした

【徹底解説】RDS Proxyとは？

# 2つの違い

>Q. RDS Proxy と DataAPIの違いは何でしょうか？
A. RDS Proxy はデータベースへの接続をプールすることでバックエンドのRDSの負荷を軽減しつつ、コネクシ

【Python/AWS】第2回 LambdaとS3を利用してデータ取得を自動化する【データ分析】

# 1. はじめに
本記事は【Python/AWS】の第2回として前回に引き続き、
AWSのサービスを利用した一連のデータ分析の続きとなります。

**▼前回の記事はこちら▼**

https://qiita.com/kawanago_py/items/68999167adb87001764c

私自身、AWSのサービスを触るのは初めてなので、
細かい説明など不足する点はあるかと思いますが、
大まかな流れをこちらで解説していきたいと思います。

本分析の全体像は以下のようになります。
全体の分析目的は以前の分析から継続/発展して、
**「Splatoon3」におけるコンテンツのユーザー満足度調査** です。

収集したデータから項目ご

【Python/AWS】第1回 LambdaとOpenWeatherMapで天気予報を自動ツイートする【データ分析】

# 1. はじめに
本記事は【Python/AWS】の第1回として、
AWSのサービスを利用した一連のデータ分析の初回となります。

私自身、AWSのサービスを触るのは初めてなので、
細かい説明など不足する点はあるかと思いますが、
大まかな流れをこちらで解説していきたいと思います。

5回ほどに分けて投稿していく予定ですが、
分析の全体像は以下のようになります。
全体の分析目的は前回の分析から継続/発展して、
**「Splatoon3」におけるコンテンツのユーザー満足度調査** です。

収集したデータから項目ごとに感情分析を行い、
ポジティブ/ネガティブの値を可視化することが最終目的です。

**▼前回の記事はこちら▼**

htt

Amazon ComprehendとLambdaを利用した感情分析APIを作成する

# はじめに

AWSを利用してのテキスト分析が何か出来ないか？と思い、調べていたところ、**Amazon Comprehend**なるものを知りました。
POSTリクエストで「特定の文書」を送ると、文書内の感情分析を行うAPIを作成してみたので、ご紹介します！
※とりあえずAPIを作って動かしてみたい方向けの記事です。

## 感情分析とは？

Amazon Comprehendではドキュメントの感情を4つの値から判断します。
「Positive（肯定的）」「Negative（否定的）」「Mixed（混合）」「Neutral（ニュートラル）」の4つの値が結果として返ってきます。

例えばAmazon Comprehendのコンソール上からInput textに適当な値を入れて「Analyze」を押すと…

`Sentiment`として以下

【AWS】S3に格納したExcelファイルをLambdaで読み込んでEC2にタグ付けする

# はじめに
久しぶりにコードを書く機会があったのでそこで使用したコードの一部をテンプレートっぽく記事として残そうと思います。
エクセルファイルを読み込んで、その他のサービス(SystemsManagerやEventBridgeなど)に対して処理を行う場合のコードとかも
別のタイミングで記事として残そうと思っていますので興味がある方は読んでみてください。

今回の検証では以下のサービスを使用します。
* S3
* EC2
* Lambda(python3.9)

# 目次

1. [処理の概要](#処理の概要)
1. [インプットデータを作成する](#インプットデータを作成する)
1. [IAMロールを作成する](#iamロールを作成する)
1. [Lambda関数を作成する](#lambda関数を作成する)
1. [Iamロールを作成する](#iamロールを作成する)
1. [Lambdaを実行する](#lambdaを実行する)
1. [タグの確認](#タグの確認)
1. [さいごに](#さいごに)

# 処理の概要
S3に格納したエクセ

HTTPエンドポイントからAWSのデータベース（Timestreamなど）にデータを書き込むシンプルな方法

[Amazon Timestream](https://docs.aws.amazon.com/timestream/index.html) は、AWSの時系列データベースサービスで、IoTなどのデータシンクとしてよく利用されるようです。
今回、[InfluxDB](https://www.influxdata.com/) で運用しているデータシンクを [Amazon Timestream] に置き換えるため、HTTP(S)のエンドポイントを介して Amazon Timestream に最も簡単に書き込む方法を検討しました。その中でもっとも簡単そうな構成である、[AWS Lambda] の [Function URL] を利用する方法ついて情報を共有します。

[Function URL]:https://docs.aws.amazon.com/lambda/latest/dg/lambda-urls.html
[AWS Lambda]:https://docs.aws.amazon.com/lambda/index.html
[Amazon Timestream]:https://d

AWS Elemental MediaConvertを利用して、動画の拡張子をmp4に自動変換する構築

# はじめに
AWS Elemental MediaConvertを利用して、様々な拡張子の動画をmp4に変換する構築についてまとめます。
下記が変換フローになります。

1. アップロード用S3に動画・画像をアップロードする
1. Lambdaにイベント通知する
3. 画像の場合、視聴用S3にコピーする
3. 動画の場合、MediaConvertを使い、拡張子をmp4に変換
1. ユーザーが動画・画像にアクセスし視聴する
1. Media Convert で動画をS3にアップロードする前に、アクセスされた場合、オリジンフェールオーバーし、オリジン先がアップロード用S3に変更

6.に関して、Media Convertが実行完了する時間が長い場合、S3にアップロードされる前にリクエストされる可能性があります。
その際に、表示されるよう、オリジンフェールオーバーを利用しています。

![スクリーンショット 2022-10-04 17.28.39.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/98874

ServerlessFrameworkでLambdaをVPCの中にいれようとしたらEC2の権限エラーがでる

# はじめに

ServerlessFrameworkで作成したLambdaにRDS通信を設定する作業を行っていたときに、VPC設定でつまづいたのでまとめます
設定の参考になる記事はあったのですが、説明が不足していたようだったので解決方法をまとめます

# 問題

ServerlessFrameworkでVPCの設定を行います
そこで以下の記事を参考に、IAMにEC2の権限を付与しました

“`yml:serverless.yml
iamRoleStatements:
– Effect: “Allow”
Action:
– “ec2:CreateNetworkInterface”
– “ec2:DescribeNetworkInterfaces”
– “ec2:DeleteNetworkInterface”
Resource:
– “*”
“`

しかし、実行コマンドを叩くと以下のエラーが発生します

“`
ApiLambdaFunction (AWS::Lambda::Funct

AWS自主学習 ハンズオン コンテナ・SQS・Lambda・S3

AWSのお勉強。EC2、SQS、Lambda、S3をハンズオンで使ってみる。

やりたいこと
1. 自PC→コンテナ(docker on EC2)にテキストデータを送信
自PCでcurlをたたいてテキストデータを送信、
docker on EC2の自作goプログラムでデータ受信

2. コンテナ→SQS
コンテナ(自作goプログラム)からSQS標準キューにテキストデータを連携。

3. SQS→Lambda
SQSをイベントソースにしてLambdaをキック。

4. Lambda→S3
LambdaからS3にテキストファイルを作成。

## チャレンジその１
まずは簡単な構成で作ってみる。

## チャレンジその２
もう少し現実的な構成にしてみる。
何でもパブリックサブネットはやめてALBだけとし、
docker