Lambda関連のことを調べてみた2020年06月15日

DynamoDB Streamsのパラメータをいじって動作を確認する

# はじめに
DynamoDB Streamsは便利そうなのだけど、イマイチ正体が分からないので確認してみた。
Lambdaの仕組みをある程度理解していて、プログラムを書けることを前提とする。

# 参考
## 通知イベント
通知されるイベントの内容を調べてみようとしたら、クラスメソッド先生が既にちゃんと調べていた。
さすが。

【Developers.IO】[DynamoDB Streamで渡されるeventデータの表示タイプごとの内容をまとめてみた](https://dev.classmethod.jp/articles/dynamodb-stream-view-type/)

# 設定方法
設定方法は2種類。

DynamoDB側から設定する方法と、Lambda側でイベントソースを設定する方法。

前者は、以下のような感じで詳細な設定をすることができない。

![キャプチャ2.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/111314/b8712b3b-d7d7-bb98-3734-c0e475a

LambdaLayersをLambdaで作る

# はじめに

普段私が`Lambda`を利用する際は、`chalice`を利用して`Lambda`関数の作成とデプロイをしています。

`chalice`は便利なのですが、デプロイ時に毎回`pip install`して必要な`package`を集めているみたいです。
そのため、`pandas`などの重めの`package`を利用している場合は、デプロイに時間がかかります。

そこで、あらかじめ利用する`package`を登録しておく`Lambda`のサービスの`LambdaLayers`を活用します。

## 前提

`LambdaLayers`を作成する際の前提条件などです。

1. `LambdaLayers`は`packages`を`zip`で固めたファイルを利用して、あらかじめ`Lambda`が利用できる状態にすること[参考](https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/configuration-layers.html)
1. `package`の配置などフォルダ構成も決まっている
1. `pandas`などの一部

オープンデータカタログをポーリングして変換したり蓄積したり通知したりする仕掛け

# オープンデータカタログをポーリングして変換したデータを蓄積したり通知したりする仕掛け

## はじめに
以前、[静岡県オープンデータカタログ(csv)からCOVID-19対策サイトのデータ(json)に変換して取得するAPI](https://qiita.com/w2or3w/items/55ff3159aea0c7a9e096) という記事を書きました。
ここで作ったAPIをLambdaでポーリングして、データの変更があったらS3に蓄積して、情報はDynamoDBにも保存して、変更があったことをSlackに通知する、みたいな仕掛けを作りました。ETLごっこです。
なお、浜松市だけでなく、静岡市のデータも監視対象としました。
※この仕掛けは結局日の目を見ることはありませんでしたが、詳細はあとがきに書こうと思います。

Lambdaの関数コード(Python)はこちらのリポジトリで公開しています。
https://github.com/ww2or3ww/covid19_shizuoka-opendata_notifier

## Lambdaで定期実行する
トリガーを追加する。
![

【Lambda】毎朝天気を教えてくれるBotを作った【サーバーレス】

# 前提

– **AWSアカウントを持っている**
– AWSの基礎知識
– Pythonの基礎知識

# 作ったもの

天気を取得し毎朝7時にLINEに通知するbot！
※ 母が「毎朝天気知りたい」と言っていたので作成することにしました。

※ テスト中の画像

# 技術選定（この記事で学べること）

– 天気を取得し → OpenWeatherMapのAPI
– 毎朝7時に → CloudWatch Events + Lambda
– LINEに通知する → LINE Notify

# いざ、実装

実装上、APIキーやアクセストークンの取得が先になるため、説明の順番が前後します。説明の順番は以下の通りです。

1. OpenWeatherMapの

ServerlessFramework+TypeScript+serverless-offlineでLambda関数を作る

## 目標
ServerlessFrameworkをローカルで開発する重宝するserverless-offline。
非常に便利なのでこれをTypeScriptでも使用したかったのですが、色々躓いてました。
今回どうにか動いたので備忘録的にその流れを記録しておきます。

## ServerlessFrameworkにてテンプレートをインストール

“`bash
npx sls create -t aws-nodejs-typescript -n lambda-typescript
cd lambda-typescript
yarn
“`

eslintをインストールしますが、自分はグローバルインストールしたeslint-cliから実行します。
(そうした方が楽なので)

“`bash
# まだインストールしていなければ
npm i -g eslint

eslint –init
? How would you like to use ESLint? To check syntax and find problems
? What type of modules does you

インフラエンジニアがやってみた AWSでサーバーレス Webアプリケーション開発

# はじめに
以下のような構成でサーバーレスアプリケーションの個人開発を行いました。


様々なハマりどころを乗り越えて、ようやくおおよそ動くようになりました。
解らないことだらけですが、楽しかったです。
AWSを触りたいけど、ハマっちゃって先に進めない方に向けて私がハマったところを残します。

私の技術領域は主にインフラ領域(サーバーエンジニア)ですので、あまり開発の知識はありません。
特にフロントエンドは苦手意識があります。
時代遅れのITインフラを抱えてばかりでしたので、AWSも触ったのは初めてです。
サーバーレス、すごいですね！

全体を通して様々なサイトの情報を参考にさせて頂きました。
実際の手順等の細かな内容については参考URLのほうが俄然優秀ですので、そちらをご参照ください。

# 触った順序
以下の順番で開発を進めました。

* AW

AWS LambdaでTwitterScraperを使おうとして動かなかったで調べてみた

アイカツ！についてのツイートを毎日収集したいという欲があり、手動でやるのも面倒なのでAWS Lambda上で毎日出力するように自動化を実施したいと思っている。

まずはAWS Lambda上で、Lambda LayersにTwitterScraperのライブラリ（1.4.0）を登録して、ざっくり動作検証レベルで以下のようなコードを実装してテスト実行してみた。

“`python
from twitterscraper import query_tweets
import datetime as dt

def lambda_handler(event, context):

begin_date = dt.date(2020,6,5)
end_date = dt.date(2020,6,6)
pool_size = (end_date – begin_date).days

tweets = query_tweets(“アイカツ”, begindate = begin_date, enddate = end_date, poolsize

セキュリティグループのマイIPを自動更新してみた（ただしバッチファイルで）

セキュリティグループのインバウンドルールのソースに「マイIP」を指定できることは有名ですが、このマイIPってグローバルIPが変わるたびに手動で設定しなおさないといけないんですよね。これの更新を自動化できないものか、と考えていました。

ググると`http://checkip.amazonaws.com/`にGETリクエストを投げるとグローバルIPが取得できるので、そのIPアドレスをインバウンドルールのソースに設定する（というスクリプトを作る）。というのが定石のようでしたが、なんかこのURLで得られるIPアドレスと、マネージメントコンソール上で表示されるマイIPが異なっており、`checkip.amazonaws.com`は使えませんでした。実際、`checkip.amazonaws.com`から取得したIPをセキュリティグループのインバウンドルー

EC2インスタンスの自動停止をLambda+CloudWatch Eventsで実現する

ググれば似たようなコードはあると思いますが、忘備録として残しています。

AWS Instance Schedulerを利用したり、タグに時間を設定しLambdaの定期実行でその時間が来れば停止するといったコードはよく見かけたのですが、コストを最大に下げるためにLambda実行回数も減らしたかったので、時間固定を前提としました。

# やりたいこと
EC2インスタンスのタグで下記のように設定したインスタンスの自動停止を平日21時に実行したい。

– Name: `auto-stop`
– Value: `true`

# 手順
## IAMロール・ポリシーの作成
こういうポリシーを持つIAMロールを作っておく

“`json

{
“Version”: “2012-10-17”,
“Statement”: [
{
“Effect”: “Allow”,
“Action”: [
“ec2:DescribeInstances”,
“ec2:Stop

AWSラムダを全く理解していない人間が練習

###あくまで備忘録です
#やりたいことだけ明確に
###まず、目標
※この部分を書いている時点で一切の作業をしていません
AWSのラムダを使うとしてお金がかかるので、ローカル（Windows環境）にダウンロードできるものだけでラムダを作りたい。
htmlで書いた(ここの言語は未定)Webサイトにアクセスし、Pythonの書かれたラムダに投げて帰ってきたデータでhtmlを更新する、なんて形を取れればいいと思っている。
~~静的なWebサイトを作るのであればS3でもいいとか言ってはいけない~~

#何をダウンロードしよう
ググったところ[[参考：A]](https://dev.classmethod.jp/articles/invoke-aws-lambda-python-locally/)のサイトを見つけたので内容を確認。**python-lambda-local**というものを使えばいいらしいので早速インストール

cmdからpipでダウンロード~~pipがナニか変わらなかった無知な自分は[こちら](https://techacademy.jp/magazine/21161)~~

AWS AppSync Nuxtjs

# 概要
AppSyncを使ってみたかったので、簡単なツイートシステムを作って見ました。
今回はAppSyncの仕組みやLambdaとの連携を理解したかったので一から構築しています。

## 構成
フロントにNuxtjsを置いてappsyncを経由し、LambdaでDynamoDBにデータを保存ようにしてみました。
AppSyncのウィザードを使うと全部自動で作ってくれます。

## AppSyncの設定
1. AWSのAppSyncのページで「APIを作成」をクリック
Node.js: Lambda で MariaDB のデータを削除 (Delete)

フォルダー構造

“`text
$ tree -a
.
├── .env
├── function_update.sh
├── index.js
└── test_local.js
“`

“`js:maria_delete/index.js
// —————————————————————
// maria_delete/index.js
//
// Jun/07/2020
//
// —————————————————————
var mysql = require(‘mysql2/promise’)

// —————————————————————
async function main(id_in)
{
console.error(“id_in = ” + id_in)
const host = `${proc

Node.js: Lambda で MariaDB のデータを更新 (Update)

フォルダー構造

“`text
$ tree -a
.
├── .env
├── function_update.sh
├── index.js
└── test_local.js
“`

“`js:maria_update/index.js
#! /usr/bin/node
// —————————————————————
// maria_update/index.js
//
// Jun/07/2020
//
// —————————————————————
var mysql = require(‘mysql2/promise’)

// —————————————————————
function get_current_date_proc ()
{
const today = new Date ()
var

Node.js: Lambda で MariaDB のデータを読む (Read)

フォルダー構造

“`text
$ tree -a
.
├── .env
├── function_update.sh
├── index.js
└── test_local.js
“`

“`js:maria_read/index.js
// —————————————————————
// maria_read/index.js
//
// Jun/08/2020
//
// —————————————————————
‘use strict’

// —————————————————————
async function read01 (mysql,host,user,password,data_base)
{
try {
console.error (“*** read01 *** start ***”)

Node.js: Lambda で MariaDB のデータを作成 (Create)

フォルダー構造

“`text
$ tree -a
.
├── .env
├── function_update.sh
├── index.js
└── test_local.js
“`

“`js:maria_create/index.js
// —————————————————————
// maria_create/index.js
//
// Jun/07/2020
//
// —————————————————————
var mysql = require(‘mysql2/promise’)
// —————————————————————
function dict_append_proc (dict_aa,id_in,name_in,population_in,date_mod_in)
{
var uni

AWS Lambda + DynamoDB + CloudWatchでQiitaにストックした記事をSlackに定期通知する

## 概要
– AWSサービスを触って学びたい
– 毎週土曜日にメールで通知されるQiitaの「今週ストックした記事」をSlackに通知したい

## 使用するもの

|サービス|用途|
|—|—|
|**[AWS Lambda](https://aws.amazon.com/jp/lambda/)**|Qiita APIからストックした記事を取得してSlackに通知する用|
|**[Amazon DynamoDB](https://aws.amazon.com/jp/dynamodb/)**|Qiita APIから取得した記事には「いつストックしたか」の情報がないため通知情報が重複してしまう。これを防ぐために前回通知した情報を保持しておく|
|**[Amazon CloudWatch](https://aws.amazon.com/jp/cloudwatch/)**|Lambdaの定期実行用|
|**[AWS SAM（サーバレスアプリケーションモデル）](https://aws.amazon.com/jp/serverless/sam/)**|ローカルで構築したアプリケーショ

Vue.js＋APIGateway＋LambdaでCORSに詰まったからまとめる

#はじめに
業務でブラウザからサーバーにPOSTリクエストを投げ、
処理した結果をブラウザ上に表示するなどの処理を実装
しようとした時にCORSというものに長い時間
悩まされたので自分のためにもまとめておこうと思います。
自分なりの解釈なので間違っていたら指摘をお願いします。
またこうしたら分かりやすいよ〜などの意見もありましたら
コメントしていただけると嬉しいです。
と言いつつQiita初投稿なのでお手柔らかにお願いします。

#CORSとは
CORSとはCross Origin Resource Sharingの略で、
XMLhttpRequestによって、
異なるオリジンからのリソース取得に制限をかけることにより、
リソースを提供するサーバーのセキュリティを向上するものです。

この説明だけでもわからないことが結構出てきますよね。。。
そこでCORSを知る上で必要なキーワードをまとめました。

#XMLhttpReuestとは？
Javascriptによりサーバーからデータを取得することで、
ページ全体を更新しなくても、ページの部分を更新できるもの。
Ajaxプログラミングにより

Slack API×AWS Lambda×Node.jsで作るチャットボット開発

# Slack API×AWS Lambda×Node.jsで作るチャットボット開発

Slack APIをLambdaと組み合わせると、様々なことができます。
「スマホからも操作できるSlackで、Lambda関数を実行できる」というだけで、その応用範囲は多岐にわたります。

今回、SlackとLambdaを使ってチャットボットのサンプルを作る機会があったため、そこで得た知識をまとめ、手順化してみました。
この内容を理解することで、以下のようなことができます。

– Slackのワークスペースにボットを配置する。
– ボットにDMを送ると、AWSのLambda関数を実行するように設定する。
– Lambda関数の処理で、Slackのワークスペースにメッセージを投稿する。

細かく手順を作ったので、初心者も手を付けやすいと思います。
ぜひここで基礎部分を学んでから、自分のやりたいことに応じて調べてみてください。

第9節までありますが、基礎の部分は4節までですし、アカウント作成などが無ければ1章あたり20分くらいでできると思います。

# 目次

– [概要](#概要)
– [シス

Node.js の Lambda 関数を ローカルでテストする （その２）

AWS のコンソールから、ダウンロードして解凍した index.js を実行する方法です。


フォルダー構造

“`text
$ tree example01/
example01/
├── index.js
└── test_local.js
“`

“`js:index.js
exports.handler = async (event) => {
// TODO implement
console.error(“***** start example01 PM 18:49 ***”)
var rvalue = {}
rvalue[‘key1’] = parseInt(event[‘key1’],10)
rvalue[‘key2’] = parseInt(event[‘k

Lambda 関数から Lambda 関数を呼び出す (Node.js)

次のページを参考にしました。
[AWS lambdaでハマったこと (lambdaからlambdaを呼び出す)](https://took.jp/post-1037/)

メインプログラム

“`js:callSample/index.js
const AWS = require(‘aws-sdk’);
const lambda = new AWS.Lambda();
exports.handler = function(event, context) {
console.error(“*** start callSample PM 18:57 ***”)

const event_aa = {
“key1”: 118,
“key2”: 216,
“key3”: 314
}

const payload = JSON.stringify(event_aa)

const params = {
FunctionName: ‘example01’,
InvocationType: ‘RequestResponse’,