- 1. 【AWS】【CloudWatch/Lambda】ログ監視のメール通知
- 2. LINEグループにBotからメッセージ送信する
- 3. 【Todo整理】S3にCsvUpload > Lambda起動 > Upしたファイル取得 > RDSへ登録
- 4. Lambdaでのアクセス許可追加方法の備忘録
- 5. 【公式ハンズオン】Node.js+PrismaをServerless Frameworkを使用してAWS Lambdaにデプロイする
- 6. Lambdaで絶対にエラーならないレイヤーの作成方法
- 7. Lambda から直接ステータスコードを返す
- 8. ECRへのPUSHをトリガーにECSのローリングアップデートを行う
- 9. 英語の長文がスラスラ読めるようになる「トレーニングアプリ」を作ってみた。。。
- 10. AWS Lambda における Python 3.6 のサポート終了
- 11. 【python】S3上のcsvファイルから、dynamoDBのするAWS lambdaのサンプルコード
- 12. Amazon EventBridge の 使い方
- 13. 【Serverless Framework】S3アップロードしたらLambda実行できるようにする。
- 14. AWS Lambda(EC2のシェル)を毎月営業日◯日に実行したい
- 15. Slack AppでリクエストURLにLambda(Node.js)の関数URLを指定してYour URL didn’t respond with the value of the challenge parameterが出た時の対応
- 16. 【Rails 6】ActiveJob + S3 + Lambda + Slack で実現する非同期 CSV ダウンロード
- 17. ClickUpのイベントをLambdaで取得してみた
- 18. stepfunctionsでのDynamoDBを使用した多重実行制御
- 19. GoでLambda Function URLs ハンズオン
- 20. 【個人開発】今スーパーで安い食材と関連レシピをラインで探せるボットの友達が1000人超えたのでログを晒していく
【AWS】【CloudWatch/Lambda】ログ監視のメール通知
# この記事でやったこと
CloudWatch のログ監視でメールを飛ばした際、ログメッセージを記載して飛ばす。
以下は「error」を2件検知して、メールを飛ばしたメールの本文。
“`
検知したメッセージは以下May 20 09:33:21 ip-10-0-1-121 ec2-user[1786]: 2022年 5月 20日 金曜日 09:33:21 JST error
May 20 09:33:25 ip-10-0-1-121 ec2-user[1789]: 2022年 5月 20日 金曜日 09:33:25 JST error
“`# 目次
1. [この記事でやったこと](#この記事でやったこと)
1. [実装背景](#実装背景)
1. [LambdaのPythonスクリプト](#lambdaのpythonスクリプト)
1. [Pythonスクリプトの補足1](#pythonスクリプトの補足1)
1. [Pythonスクリプトの補足2](#pythonスクリプトの補足2)
1. [Pythonスクリプトの補足3](#pythonスクリプトの補足3)
1. [Pytho
LINEグループにBotからメッセージ送信する
LINEグループにプログラムからメッセージを送りたい、と思ったことはありませんか？
SlackやChatworkに比べると手順がやや複雑で手間がかかったので、備忘も兼ねて設定手順を記事に残します。
もし何かの参考になれば幸いです！# 完成形
“`python:example.py
import os
from linebot import LineBotApi
from linebot.models import TextSendMessagechannel_access_token = os.getenv(‘LINE_CHANNEL_ACCESS_TOKEN’)
group_id = os.getenv(‘LINE_GROUP_ID’)
msg = ‘Hello World!’line_bot_api = LineBotApi(channel_access_token)
line_bot_api.push_message(group_id, TextSendMessage(text=msg))
“`pythonでメッセージ送信する一例です。
`チャネルアクセスト
【Todo整理】S3にCsvUpload > Lambda起動 > Upしたファイル取得 > RDSへ登録
# 初めに
※雑なTodo整理・所感まとめです。詳細は各種公式サイトをご覧下さいm(_ _)mUploadしたcsvの情報を非同期な感じでデータベースに登録したくなったので、AWSの勉強がてら色々設定してみました。
## インフラ準備
* いずれterraform化したい
* 所感、結構むずい。（主にVPN⇄RDS周りで）
* 自分がAzure出身なので、慣れてないのもある
* 恥ずかしながらCIDRってなんやっけ…??みたいになった
* インフラ準備だけで1.5DayぐらいかかったS3,Lambda以外は下記ブログが非常に参考になりました、ありがとうございます！
https://photo-tea.com/p/aws-ec2-to-rds-connection/
### VPC,EC2作成
登場人物は`VPC`,`Subnet`,`ルートテーブル`,`インターネットゲートウェイ`,`ネットワークゲートACL`,`セキュリティグループ`,`EC2`（ちゃんとした構成図は書く気がないので省略、すみません）
以下概要* PublicSubn
Lambdaでのアクセス許可追加方法の備忘録
# Lambdaでのアクセス許可追加方法
わざわざIAMに行かなくても、Lambda関数の設定>アクセス権限>実行ロール>ロール名から、許可ポリシーで適宜アクセス許可を追加することができる
参照
https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/lambda-intro-execution-role.htmlhttps://techblog.nhn-te
【公式ハンズオン】Node.js+PrismaをServerless Frameworkを使用してAWS Lambdaにデプロイする
:::note
この記事は、Prisma公式の「Deploying to AWS Lambda」の和訳（意訳）です。
翻訳元とライセンスについてはページ下部に記載しています。
:::このハンズオンでは、Serverless Frameworkを使用して、AWS LambdaにサーバレスなNode.jsのREST APIをデプロイする方法をお伝えします。
AWS LambdaはAWSのサービスの一つで、これを使うとサーバ管理不要のサーバレス環境でコードを実行できます。一方で、REST APIをLambdaにデプロイするためには、S3でファイルをホスティングしたり、API GatewayでAPIをHTTPで公開する必要もあります。
Serverless Frameworkを使えば、CLIでワークフローを自動化し、AWSリソースのプロビジョニングも行うことができます。
今回作成するREST APIでは、Prisma Clientを使用してデータベースのレコードの取得・作成・削除を行います。具体的には、それぞれの関数はRESTリソースのエンドポイントを表し、Prisma Client
Lambdaで絶対にエラーならないレイヤーの作成方法
# 背景
Lambda関数でS3のファイルをSFTPサーバへ転送したいです。調べたところ、paramikoライブラリーの利用を決めたより、Lambdaのparamikoレイヤーを作成する必要があります。# 現象
requestsライブラリーなどのレイヤーを作成した方法のように、「`pip install paramiko .`」コマンドを使って、ライブラリーをインストールして、Zipファイルを圧縮して、レイヤーを作成しても、関数でparamikoを使う時にエラーになります。
原因を推測すると、paramiko自分自身の依頼が複雑で依頼しているライブラリーはLambdaの後ろに存在するEC2サーバ上にはインストールしてないかと思っていますね。なせならば、コマンドを実行する端末環境はLambda後ろのEC2サーバと違うでしょう。# 解決方法
### １、ローカルにDocker をインストールする
[Docker Download and install](https://docs.docker.com/desktop/#download-and-install)を参照してくださ
Lambda から直接ステータスコードを返す
# 問題
こんな感じで ステータスコード 400 を return する Lambda を書くとする。“`jsx
exports.handler = async (event, context) => {
let response = {
statusCode: ‘400’,
body: JSON.stringify({ error: ‘Bad Request’ }),
};return response;
};
“`しかし、API Gateway を介してこの Lambda にアクセスしてみると、なぜかステータスコード 200 が返ってくる。
これは Lambda のレスポンスが API Gateway によりラッピングされてしまうことが原因。
なので、Lambda のレスポンス内容をもとにマッピングテンプレートを利用し API Gateway 側でレスポンスコードを指定する必要があった。
でも面倒なので、Lambda で直接ステータスコードを設定したい。# 対処
`callback` にレスポンス内容を渡してあげれば中身が
ECRへのPUSHをトリガーにECSのローリングアップデートを行う
# ■Lambda
ローリングアップデートを行うための処理を作成
### ▼Lamdaを作成する際の選択値
| 項目 | 値 |
| — | — |
| name | test ※仮でtestとします |
| 関数の作成 | 一から作成 |
| ランタイム | Node.js 16.x |### ▼コード
:::note alert
Node.js での現時点でのSDKサポートは v2 になります
※ 最新版を使用したい場合は自身でデプロイを行う必要がありますhttps://docs.aws.amazon.com/lambda/latest/dg/lambda-runtimes.html
:::“`index.js
const aws = require(‘aws-sdk’)// async は付けないでください
exports.handler = (event, context) => {
const ecs = new aws.ECS({region: event.region});// 環境変数は「Lambda」の「設定」
英語の長文がスラスラ読めるようになる「トレーニングアプリ」を作ってみた。。。
# ■まえがき
皆さんはスラッシュリーディングとサイトトランスレーションという言葉を聞いたことがありますか？
私はスラッシュリーディングは知っていたのですが、先日、サイトトランスレーションという長文読解の速読トレーニング法を知り、AWSやプログラムの勉強も兼ねてWEBアプリ化してみました。↓
[Slash Reading & Sight Translation](https://16sw92fztg.execute-api.ap-northeast-1.amazonaws.com/Prod/input/)しかし、出来上がった画面を見るとデザイン力がなさすぎることに気づかされる。。。
(´;ω;｀)## 用語説明
・サイトトランスレーション（Sight Translation）
英文を「チャンク」と呼ばれる意味のかたまりごとに区切り、前から訳していくトレーニングの方法（[引用元](https://englishhub.jp/method-2/sight-translation#:~:text=%E3%82%B5%E3%82%A4%E3%83%88%E3%83%88%E3%
AWS Lambda における Python 3.6 のサポート終了
# 課題
皆さんにもこんな通知が届きましたよね。
>「AWS Lambda における Python 3.6 のサポート終了」今回、ご丁寧に一覧表示する為のコマンドラインまでプレゼントされています。
ただ、クラウドエンジニアな私達は世界中に駆け回っているわけなので、一定のリージョンを調べるだけではダメなのです。ということで今回は単にリージョン全てをチェックする sh をどうぞ。
# 解決
## AWS公式
>次のコマンドは、AWS CLI [3] を使用して、特定のリージョン内の Python 3.6 を使用しているすべての関数を一覧表示する方法を示しています。お客様のアカウント内のこうした関数すべてを確認するには、リージョンごとに次のコマンドを繰り返してください。“`
aws lambda list-functions –function-version ALL –region us-east-1 –output text –query “Functions[?Runtime==’python3.6′].FunctionArn”
“`## カスタマイズ版
【python】S3上のcsvファイルから、dynamoDBのするAWS lambdaのサンプルコード
こちらでスプレッドシートをcsvに変換してS3に保存したので、csvからdynamoDBのテーブルを作成しました。
https://qiita.com/at_sushi/items/8b71927e72ac2a7465d5
サンプルコード
–“`python
import os
import boto3
import pandas as pds3_client = boto3.client(“s3”)
dynamodb = boto3.resource(“dynamodb”)
table = dynamodb.Table(“任意のテーブル名”)def lambda_handler(event, context):
bucket_name = os.environ[‘bucket_name’]
prefix = os.environ[‘prefix’]s3 = boto3.client(‘s3’)
obj = s3.get_object(Bucket=bucket_name, Key=prefix)
df = pd.read
Amazon EventBridge の 使い方
Cloudwatch alertを使って、[EC2のオートリカバリ](https://qiita.com/kazwata/items/feea966dbb4b76eedc37)や、SNS -> lambdaを介してSlack通知など、便利に使っていたのですが、連携できるサービスが限られているため、EventBridgeを使ってみます。
# EventBridgeとは
EventBridgeは、AWS外のSaaSやAWSサービスで発生した様々なEventを受け取って、LambdaやStep Functions などの指定したターゲットにEventを連携することができるサーバレスのマネージドサービスです。EventBridgeという名称そのままな感じですが、Eventソースとターゲットの自由度がかなり高いので、アイデア次第で色々できそうな感があります。# EventBridgeの設定方法
「Cloudwatch alertのイベントを受け取って、lambdaに連携する」というEventBridgeを作成してみます。まずは、Amazon EventBridge > ルール > ルールを
【Serverless Framework】S3アップロードしたらLambda実行できるようにする。
# この記事のゴール
・Serverless Frameworkの基本的な使い方を学ぶ。
・ESLint × PrettierでTypeScriptのソースコードを自動整形できるようにする。
・S3アップロードイベントで実行されるLambda関数を作成してみる。
→ 実用性がありそう＆応用が効きそうなケース
# もくじ
o1. Serverless Frameworkプロジェクト基盤作成
o2. S3アップロード時にLambdaが発火するようにする。
o3. CSVファイル読込
o4. mysqlインポート# ソースコード
https://github.com/daisuketakakuwa/serverless-practice# o1. Serverless Frameworkプロジェクト基盤作成
## プロジェクトフォルダ
AWS Lambda(EC2のシェル)を毎月営業日◯日に実行したい
### AWSのカレンダー機能を使って、毎月の営業日◯日目にEC2のシェルを実行する(Lambda関数を実行する)
AWS EC2上に構築したHulftの集信コマンド(utlrecv)を「月初〇〇営業日」に実行したい
…といった問題に当たりました。以下の機能を使って実装しました。
・AWS Systems Manager(Change Calendar)機能
→ (シェル や Lambda)を実行した日時を管理
・Amazon EventBridge機能
→ Calenderの状態を確認し、条件を満たしたら、ssm経由でLambda関数を実行する
・AWS Systems Manager(ssm)機能
→ Lambdaから(EC2のシェル)をキックする(※きれいに作る場合、Calenderに祝日や土日を設定して、その日が営業何日目かを判断したりする必要があると思いますが…今回は、実行する日時のみをCalenderに登録し、定期的にメンテナンスする前提で作成しました)
### ①カレンダーの作成
まずはカレンダーを作成します。
の関数URLを指定してYour URL didn’t respond with the value of the challenge parameterが出た時の対応
## はじめに
Slackアプリの Event Subscriptions -> Enable Events -> Request URLでURL設定時にタイトルのエラーが出た場合の対応方法を整理します。
## エラー内容
“`
Your URL didn’t respond with the value of the challenge parameter.
“`– 内容としては`challenge` パラメータを指定してレスポンスを返していない、という意味です。
## 結論
Lambda(Node.js)の場合、以下のようなコードを書けばOKです。
`challenge` のみを含むレスポンスを返却するのがポイントです。“`index.js
exports.handler = async (event) => {
// TODO implement
console.log(`event=${JSON.stringify(event)}`);
const event_body_json = JSON.parse(event.body)
【Rails 6】ActiveJob + S3 + Lambda + Slack で実現する非同期 CSV ダウンロード
## 概要
– 大容量の CSV を出力をしようとした際、レスポンスが返ってくるまでの待ち時間が苦痛
– 最悪、タイムアウトエラーになりかねない
– とりあえずレスポンスだけ先に返しておき、実際の CSV 出力処理はバックグラウンドで非同期処理するみたいな事がしたい
– ActiveJob + S3 + Lambda + Slack を使う事でそれが実現できそう軽めの CSV 出力であれば何ら問題無いのですが、サービスの運用が長続きしてたくさんのデータが蓄積すると、それらを一気に出力するのはなかなか骨が折れたりします。
実際、自分が担当しているサービスでも先日ついに処理に時間がかかりすぎてタイムアウトエラーになるといった事象が発生しました。
もちろん、 SQL の見直しだったり根本的な部分においては他にも色々やるべき事はあるかもしれませんが、とりあえず手っ取り早く対応するために非同期での CSV ダウンロードを実装してみました。
### 同期処理の場合
）。
しかし、処理によっては多重実行が望まれないものもある。
そこで今回は、DynamoDBを用いて、stepfunctionsの多重実行を制御する方法を考えた。# 実装
今回は、日次で１回のみ行う処理をイメージした。ステートマシンの構造は以下の通りである。– DynamoDBに実行日を表す値(yyyymmdd)を入れる
– 上の処理が正常に動作したらメインの処理が走る、エラーが起こったらステートマシンを終了する## DynamoDBのテーブル作成
今回はtestというテーブル名で、パーティションキーをyyyymmddとするテーブルを作成した。ランタイム設定のハンドラが`hello`となっているので適当な名前に変更します。
」という記事で紹介させていただいたラインボットの友達が1,000人を超えていたので、ユーザーの利用状況をログから分析して晒していきます。
※ラインボットやスクレイピングなどの技術的な話は前記事に譲って、本記事では技術については触れません。
## どんなボットなのか
1. イオン、イトーヨーカ堂、西友3社のネットスーパーから、今安くなってる食材を検索できる
2. 食材名から、リュウジさんや山本ゆりさんなど著名な料理研究家さんの関連レシピを探せるというのが主な機能です。
