Lambda関連のことを調べてみた2020年10月01日

Go×Qiita API×LambdaでTwitter Bot作った

# はじめに
Goを勉強しているのですが、自分から情報を探しにいくと当たり前ですが自分が欲しい情報しか得られません。全体的な知識を広げていくには様々な記事を読んだりする必要があると思うのですが、なかなか腰が重い。
ということで、QiitaのGoタグがついた記事をツイートしてくれるTwitter Botを作成しました！

[@BotQiita](https://twitter.com/BotQiita)
↑フォローしてね。

# アーキテクチャ
文章で説明してもわかるくらいの構成なのですが、アーキテクチャ図作ってみました。

– Qiita APIでGoタグがついた記事を取得
– Twitter APIで認証&ツイート
– lambdaはGoで書かれており、cloudwatchで1時間毎に定期実行

といった感じになってます。

#

AWSについての学習と簡単な構築とその手順（S3にドキュメントをアップロードしたらSlackに通知が送られる簡単なシステム）

こんにちは。
社会人になってから
「普通の生活をするのって難しいな」
と感じることが多くなりました。こまっちゃんです。

約半年ぶりの投稿になります。さて、くだらない近況報告はさておき
今回もウェブテクデー(会社で用意してくれたお勉強の時間)で学習を行いました。

AWSのオンライン研修を受講したのですが、やっぱり触ったことがないといまいちピンとこないので、S3とLambda、Slackを使用して簡単なシステムを構築したので共有します。

ちなみにですが既に同じ構成で投稿している方がいたので、今回はAWSがどれだけ簡単に構築作業ができるのかを分かってもらえればと思います。エンジニアの新人さん向けでもあると思います。

まずは今回使う3つのサービスの紹介からしていきます。

#１．S3ってなに？

S3とは、AWSの中のサービスの1つで、「Simp

AWS Lambdaでselenium×chromeを動かす時の AWS Lambda Layers のつくり方

# この記事では
AWS Lambdaから、selenium×chromeでブラウザ操作したい時に、
Layer の作り方でハマったので投稿します。

# やりたいこと
AWS Lambdaでselenium×chromeを動かしたい。

# 環境
windows 10 Pro
python 3.7
chromdriver 2.37
headless-chromium 64.0.3282.167

# 記載しないこと
-AWS lambda の関数作成、呼出方法
-selenium webdriverによるブラウザ操作ができるpythonプログラムの作り方。

# つまづいたところ
1.AWS Lambda Layersを作る単位
2.AWS Lambda Layersへの搭載方法と呼び出し方

##1.AWS Lambda Layersを作る単位
まず、AWS Lambda Layers とはlamda から共通的に使える共通関数のようなものです。
下記のようにLambda本体から参照される形で呼び出すことができます。
機能の1部を切り出すことで、lambda本体の

CloudWatchEvents (EventBridge) + StepFunctionsを使ったCron処理で同時起動を防ぐ方法

コンテナ化やサーバレス化が進み、従来実装していた方法が通用しない場面が出てきています。
その代表的なものの一つがバッチ処理です。
従来はバッチ処理を行うサーバが存在し、crontabコマンドで設定などを行っていました。
しかしコンテナ化、サーバレス化の影響でバッチサーバというものは存在しなくなります。

AWS上でサーバレスなバッチ処理システムを構築するための方法の一つにCloudWatchEvents（最近、EventBridgeになりました。以下CWEと略します）を利用する方法があります。
しかし、このCWEにはイベントが多重に発生するという仕様があります。なお、Kubernetsの `CronJob` やGCPの `Cloud Scheduler` でも同様の仕様になっています。
バッチに同実行耐性や冪等性を持たせておけば問題ないのですが、長時間バッチや特殊処理を行うバッチ、作られたのが古くて手を入れづらいバッチなどはなかなか簡単にはいきません。

## 概要

今回は、CWE + StepFuntionsを使ったバッチ処理で同時実行を防止する方法を考えました。
バッチ処理自体は

AWS Cloud9でオウム返しLINE Botを作る

## はじめに

AWS Cloud9 上で`SAM Local`を使い、オウム返しするLINE Botを作るメモ

## 構成図

こんなの作ります。


## 手順の概要

– [LINE Developers] プロバイダー作成
– [LINE Developers] 作成したプロバイダーにチャネルを設定
– [LINE Developers] 作成したチャネルで2つの情報を取得
– チャネルアクセストークン
– チャネルシークレット
– [AWS] Cloud9環境を用意する（東京リージョン: ap-northeast-1）
– [AWS-Cloud9] Lambdaを作成する
– Function name
– Application name
– [AWS] Lambdaスクリプト更新
– [AWS

AWS Systems Manager、Lambdaを使ってS3のファイルをEC2(Windows)内にダウンロード(同期)してみた。

#概要図
Lambda ⇒ Systems Manager ⇒ EC2 ⇒（同期コマンド）⇒ S3

▼参考（にさせていただきました！）
https://dev.classmethod.jp/articles/lambda-s3-ec2-windows-sync/

#作業ステップ
▼前提
・S3にバケットを作成し、ファイルをアップロード済み
###①IAMロールを作成（EC2用）
AmazonEC2RoleforSSM
※上記権限は範囲が広いため、別のポリシーへの移行が推奨されていますので、
　仕事で使用する場合は下記ページをご確認いただければと思います。
　https://dev.classmethod.jp/articles/check-amazonec2roleforssm-policy/
###②EC2インスタンス作成（windowsサーバ　※ami-038c59e921e8b9c7d 使いました）
ロールに”①”をアタッチ
⇒SystemsManagerでEC2のオペレーションができるようになる
※SSMエージェントはデフォルトでインストールされていました。
###③IA

Chalice を使って AWS Lambda 上に Flask/Bottle のようにWebアプリケーションを構築する

# はじめに

小規模なWebアプリケーションを作成する場合、Pythonでは [Flask](https://flask.palletsprojects.com/en/1.1.x/) や [Bottle](https://bottlepy.org/docs/dev/) を利用できる。
これらのフレームワークは「どのURLに対して」「どのプログラムを動かす」といった対応を Python のデコレータで対応させることで実現できる。
例えば、以下の Flask アプリケーションでは `/` にHTTPアクセスした時に `Hello, World!` を返すWebサーバーを実装しており、ルーティング・レスポンス応答が非常に分かりやすい。

“`python:Flaskの公式ページから引用
# https://flask.palletsprojects.com/en/1.1.x/quickstart/
from flask import Flask
app = Flask(__name__)

@app.route(‘/’)
def hello_world():
return ‘He

Ruby×Sinatraで作ったSlackBotをAWS Lambdaで動かしてみる

## 本記事で目差す構成


① Slackで特定のアクションを実行する。（※今回はスラッシュコマンド）
② API Gatewayを介してLambdaを起動。
③ Lambdaに配置した関数を実行し情報を返す。


↑動作イメージとしてはこんな感じ。
今回はとある地域の現在気温を返してくれるSlackBotを動かしてみる。

## 対象読者

– 簡単なSlackBotを作ってみたい人
– AWSのLambdaに触れてみたい人

### Lambdaとは？

> A

AWS CDKを使ってlambda layerをデプロイしてみた

# はじめに
自己研鑽の一環でAWS CDKを使っているのですが、lambda layerをデプロイするようなサンプルがあまりないように感じたので、自分で試行錯誤しながらやってみました。

# 開発環境
– aws-cdk：1.58.0
– cdk使用言語：typescript

# 前提として
cdkを使えるような環境のセットアップが出来ている前提で記載していきます。
私は以下の記事を参考にさせていただきました。
https://dev.classmethod.jp/articles/aws-cdk-101-typescript/

# ディレクトリ構成
本記事のディレクトリ構成は以下のようになっています。

“`
├─backend
│ └─ src
│ ├─function
│ │ └─sample
│ └─layer
│ 　　└─SharedLayer
│ 　　　　└─nodejs
│ 　　　　　　└─node_modules
└─cdk-stack
　 ├─bin
　 ├─lib
　 └─test
“

C#のLambdaプロジェクトを作成してVisual Studio for Macでデバッグ実行する

# はじめに

MacでC#のLambdaプロジェクトを作成し、Visual Studio for Macでテストプロジェクトをデバッグ実行した記録です。

### できたこと

* C#のLambdaプロジェクトを作成
* AWS Lambdaへのデプロイ
* AWS Lambdaでのテスト
* Visual Studio for Macでソリューション化
* テストプロジェクトのデバッグ実行

AWS Lambda上で動くプログラムをアタッチしてデバッグしたわけではありません。
テストプロジェクトをローカルPC上でデバッグ実行しました。

# 準備

### アクセスキー ID とシークレットアクセスキーを設定

PCからAWSにアクセスできるようにアクセスキー ID とシークレットアクセスキーを設定します。

* AWS CLIのインストール
インストール手順は以下のURLを参照してください。
参考：https://docs.aws.amazon.com/ja_jp/cli/latest/userguide/cli-chap-install.html

* 設定
以下のURLを参

Lambdaから引数を指定して AWS Batch起動方法

## 概要

[前回](https://qiita.com/dmikita/items/af33d64f4d6aef556439)作成したAWS BatchをLambdaから実行するようにします。

## 準備

AWS Batchは[前回](https://qiita.com/dmikita/items/af33d64f4d6aef556439)のものをそのまま使います。AWS BatchのジョブさえできていればいいのでCodeCommitなどはこのためだけに準備しなくても大丈夫です。

### Lambdaの準備

* Lambdaを作成します。今回はpythonで実装していますがほかの言語でも可能です。
* JOB_NAME はジョブ定義の名称
* JOB_DEFINITION はジョブ定義のジョブ定義ARN
* JOB_QUEUE はジョブキューのキューARN
* `XXXXXXXXXX` の部分はAWSのアカウントIDを設定します。
* `command` の部分に引数をリスト形式で
* `environment`

Amazon API GatewayでmTLSを試してみた。 (2/2)

# はじめに

当記事は[こちら](https://qiita.com/horit0123/private/8eb45bfcef6b848971a4)の続きとして作成しています。Amazon API GatewayがmTLSによる認証をサポートしたため前回の記事では、APIの構成、カスタムドメインの構成、鍵の生成、CA証明書の生成、そしてクライアント証明書の生成、API GatewayのmTLS構成について手順を紹介しました。当記事ではもう少し細部について書きたいと思います。

1．Amazon API GatewayでmTLS構成した際のLambda Authorizerや統合したLambda関数の実装
2. デフォルトのエンドポイントの無効化（**重要**）
3. mTLS設定と絡めたセキュリティ設定

# サマリ
– 証明書の失効対応は自身で必要。Lambda Authorizerや統合されたLambdaで可能
– 予防・記録・検知と対応をセットでAPI Gatewayの運用をご検討ください

# 解説

## 1. Lambda Authorizerならびに、統合され

Lambda上でmysqlclientを動かす

## 概要

LambdaにてPythonを使用時、MySQLクライアントとして`mysqlclient`を使うもの（SQLAlchemy等）を利用する場合、いろいろ準備が必要。

* `mysqlclient` は `1.4.6` を使う
* AmazonLinux2から `libmysqlclient.so.18` を拾ってくる
* `libmysqlclient.so.18` をLambdaへ上げた際に、Lambda上でライブラリ用パスへ配置する

## `mysqlclient` は `1.4.6` を使う

“`
pip install mysqlclient===1.4.6
“`

細かい原理は不明だが `2.0.1` を使おうとすると、’_mysql’がないと怒られる。。

## `libmysqlclient.so.18`を拾ってくる

AmazonLinux2用の`libmysqlclient.so.18`が必要になるのでビルドする。

#### コンテナ起動

“`
docker run -it amazonlinux:2 bash
“`

#### コン

【Python】Malformed Lambda proxy response が出た時の対応

## 結論
レスポンスボディをJSON形式の文字列にしましょう。

OK

“`
response = {‘message’: ‘hello’}
return {
‘statusCode’: 200,
‘body’: json.dumps(response)
}
“`

NG

“`
response = {‘message’: ‘hello’}
return {
‘statusCode’: 200,
‘body’: response
}
“`

## 環境
* Python3.8

## 背景
インスタンスを起こすLambda関数をAPIゲートウェイから呼んでみるかー、となり作るも以下のエラーに苦しみました。
Lambdaでのテストは成功してAPIゲートウェイでのテストに失敗したという状況です。

“`
# レスポンス本文
{
“message”: “Internal server error”
}

# レスポンスヘッダー
{“x-amzn-ErrorType”:”InternalServerErrorException”}

# ロ

Amazon API GatewayでmTLSを試してみた。(1/2)

# はじめに
特に金融系のAPI等、より強固な認証を求められるIoTデバイス等からの認証を行う際にはクライアント証明書による認証を求められることがあるかと思います。当記事では、Amazon API Gateway（執筆時点ではRegionalおよび、HTTP API限定）によるmTLS（Mutual TLS authentication）について構成を試したので記載したいと思います。
当機能に関するドキュメントとして[こちら](https://docs.aws.amazon.com/apigateway/latest/developerguide/http-api-mutual-tls.html)を参考にして構築しました。

なお、当記事は2020年3月にGAした**HTTP API**をベースに記載しており、従来からあるREST APIについては検証・記載しておりません。

（この記事30分くらいの検証と2時間くらいの執筆かな~と持っていたら、苦労したことに書きましたが、自分の構成管理ミスで思ったより手間取りました。そして証明書のチェーン（中間CA）も作ろうと思ってまだ作れてなかった

DiscordのWebhooksをurllib経由でたたいて簡単自動発言ボット作成

# 概要

AWS Lambda の Python 3.7 ランタイムを使ってDiscordのWebhook URL を叩くと 403 でうまいこと叩けずに困った。

原因を調べたらどうやらUAをチェックしているらしく、UAが urllib だとNG。( 試しに使った curl はOK )

Discordのライブラリを入れればいいんだろうけど、Lambdaという都合上、ほか依存ライブラリ追加したくない。

UAをcurlに偽装することでうまいこと叩けた。よかったよかった。

# 反省

– うまくいくパターンとだめなパターンの差分はHTTPヘッダをみよ。
– APIがコケる場合にはちゃんとステータス値とレスポンスボディとマニュアルをみよ。

# 参照

[Python3のスクリプトでjsonをPOSTする – Qiita](https://qiita.com/neko_the_shadow/items/324976c7b54623e82b26)

# 詳細

## What is Webhooks

Discordにおいて、なにかあったら自動で特定のチャンネルにメッセージを送りたい

AWS Systems Managerを用いてEC2上のコマンドを動かしてみた

こんにちは。streampackのfadoです。厳しい暑さが続いておりますがみなさん、いかがお過ごしでしょうか。まだまだ油断は禁物ですのでうがいと手洗いを忘れないようにしましょう。さて、今回は表題にも書きました通り、`AWS　Systems Manager`を利用し、`AWS Lambda`及び`Amazon API Gateway`と連携したシステムで`Amazon EC2`インスタンス上でコマンドを実行させる方法を簡単に説明していきたいと思います。

#注意事項
* Linuxコマンド及び`AWS Lambda`,`Amazon API Gateway`,`AWS Systems Manager`の知見がある方を対象にしています。
* `AWS Lambda`はPython3で記載しています。
* ffmpegのRTMP送信先は`AWS Elemental MediaLive` -> `AWS Elemental MediaPackage`にしていますがスコープ外ですのでセットアップ等は割愛させていただきます。

#リソース
* Amazon EC2　(以下 EC2)
* AWS

[AWS] マネジメントコンソールのLambdaの管理画面からStep Functionsのワークフローを確認できるようになりました

# Launch

9/17に、「[AWS Lambda adds console support for visualizing AWS Step Functions workflows](https://aws.amazon.com/jp/about-aws/whats-new/2020/09/aws-lambda-adds-console-support-for-visualizing-aws-step-functions-workflows/)」ということで、LambdaのコンソールでStep Functionsのワークフローのビジュアライズ機能がLaunchされました。

# Lambdaの管理画面
メニュー蘭に「Step Functions state machines」の項目があります。

Step Functions stat

AWSLambdaでPyTorch【Lambda import編】

# はじめに
本記事はAWSのLambda上でPyTorchを動かして見ようという試みについてのまとめです。DeepLearningタグをつけていますが、学習については触れません。ゴールはLambda上で何かしらの推論を動かしてみるというところまでです。（EFS設定編は[こちら](https://qiita.com/myonoym/items/5d360ed11931474cb640)）

# ざっくりまとめ
1. EFS使ってみる
1. LambdaでPyTorch←今回ココ
1. slackからも呼ぶ

の三本立てです。

# Lambdaで動かすモデル
今回Lambdaで動かしてみるのは、[EML-NET](https://www.sciencedirect.com/science/article/abs/pii/S0262885620300196)です。[Githubのプロジェクトページ](https://github.com/SenJia/EML-NET-Saliency)を参照すると詳細が書いてありますが、[SaliencyMap](https://en.wikipedia

MongoDBを扱うExpressアプリをAWS Lambdaに乗せてサーバーレスにする

# はじめに

AWS Lambdaによってバックエンドアプリをサーバーレスにすると、可用性やコスト、スケーリングの面で利点があります。

DBとやり取りするバックエンドアプリの場合、かつてはDBコネクションの所要時間が懸念されたり、またそもそもLambda全般に言えるコールドスタートの遅さが課題でした。しかし最近（2020年頃）ではこれらの課題はかなり解消しており、バックエンドアプリをサーバーレスにすることが随分と現実的になっています。

この記事では、DBがMongoDBであり、Expressで書かれたバックエンドアプリについて、Lambdaによるサーバーレス化の流れを紹介します。作成したLambda関数は、API Gatewayを通して公開する想定とします。

# MongoDBへのコネクションを再利用する

DBコネクションの課題への対処法は、MongoDBの公式ドキュメントにポイントがまとめられています。

[Best Practices Connecting from AWS Lambda](https://docs.atlas.mongodb.com/best-pract