Lambda関連のことを調べてみた

Lambda関連のことを調べてみた
目次

[Django] LocalStack+SQS+S3+Lambdaを使ったCSVファイルを非同期でimportしよう!

## 概要
SQSとS3とLambdaを使った非同期処理をローカル上でLocalStackを用いて再現する方法について解説します

## 前提
– Djangoのアプリケーションを作成済み
– SQSとLambdaとS3に関する基本的な知識を有している

## 今回実装する非同期処理の仕組み
①APIを使ってS3にCSVをアップロードします
②アップロードする際にSQSを使ってアップロード履歴のIDを送ります
③SQSのメッセージ送信をトリガーにLambdaを実行し、Lambda内でS3内のCSVのデータをDBにInsertするAPIを実行させます
④SQSのメッセージ内のIDを利用して該当するアップロード履歴テープル内のFileFieldを参照してアップロード処理を実行します

CSVの処理状況についてはアップロード履歴テーブル内にステータスのカラムを作成して履歴一覧から進捗状況を把握できるようにします
処理の流れは下記の画像の通りです

![lambda-s3-sqs.drawio.png](https://qiita-image-store.s3.ap-northeast-1.a

元記事を表示

TerraformでAWS Lambda + API GatewayのサーバーレスAPIを構築する方法

## はじめに

この記事では、Terraformを使用してAWS LambdaとAmazon API Gatewayを組み合わせたシンプルなサーバーレスAPIをデプロイする方法を解説します。aws-terraform-sandboxプロジェクトのs05_api_lambda環境を例に、ステップバイステップで実装方法を紹介します。

元記事を表示

TerraformでAWS Lambda関数を作成する方法:シンプルな実装ガイド

## はじめに

AWSのサーバーレスコンピューティングサービスであるLambdaは、アプリケーション開発において非常に強力なツールです。本記事では、Terraformを使用してAWS Lambda関数を簡単に作成する方法を、aws-terraform-sandboxプロジェクトのs04_simple_lambdaサンプルを参考に解説します。

元記事を表示

AWS Systems ManagerからEC2インスタンスのコマンドを呼ぶときの注意点について

# はじめに
AW EC2上に配置したpythonスクリプトをAWS lambdaからSystem Manager(SSM)のRunShellScriptを利用して呼び出した際に、ログインユーザーに関する問題で躓いたので、問題の概要と解決策をまとめます。

### 参考にさせていただいたサイト
https://dev.classmethod.jp/articles/ssm-document-know/

# 問題点
SSMからRunShellScriptを実行した場合、実行ユーザーは`root`となる。
一方、EC2インスタンスに通常ログインした場合のユーザーは`ec2-user`となる。

`ec2-user`で構築した環境で動くスクリプトをSMS RunShellScriptから呼ぶと、実行時ユーザーが`root`となるため実行環境が異なり、`import module error`などが発生する。

“`bash:SSMからRunShellScriptで実行した場合
$ pwd
/usr/bin

$ whoami
root

$ which python3
/usr/bin

元記事を表示

lambdaで “Runtime.ImportModuleError” の解消

## lambdaで Youtube Data APIを使おうとしたところ、 “Runtime.ImportModuleError” が発生
今までAWSにはほとんど触れずに来たのだが、仕事で知識が必要になってきたため、Lambdaを触ってみることにした。ちょうど、家でYoutubeを見ながらエクササイズに励んでいるため、[Youtube Data API](https://developers.google.com/youtube/v3/code_samples/code_snippets?hl=ja&apix_params=%7B%22part%22%3A%5B%22snippet%2CcontentDetails%22%5D%2C%22id%22%3A%5B%228j9L9h3ODfU%22%5D%7D) で、動画のIDからの再生時間を取得する処理を作ってみることにした。コードのサンプルは、ありがたいことに、[Youtube Data API](https://developers.google.com/youtube/v3/code_samples/code_snippets?

元記事を表示

【CloudWatch】アプリケーションのユーザ離脱を監視する【カスタムメトリクス】

# やったこと
– Webアプリケーションのユーザ離脱数をCloudWatchカスタムメトリクスとして取得する
– ユーザ離脱は、ユーザが異なるページに遷移しようとする「beforeunload」イベントを監視することで簡易的に検知
– 「beforeunload」イベント発生時に、正常に漏れなくCloudWatchにデータを送信できるよう、Beacon APIを使用する。

# 構成図
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/992414/e95e6f5a-d8ab-0ec9-4fc3-29d993edf112.png)

# バックエンド
一般的なAPI GatewayとLambdaの構成をとる。
API GatewayにPOSTメソッドを作成し、LambdaプロキシでLambdaと紐づける。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/992414/2aeda944-e929

元記事を表示

AWS Lambda から Power Automate の Teams Incoming Webhook コネクタの挙動をテストする

# はじめに
Microsoft (以下MS) が、Teams内のOffice 365コネクタを廃止することを発表しました。
これにはIncoming Webhookも含まれ、記事執筆時点では、以下のスケジュールが設定されています。

* 2024年8月15日: 新規コネクタの作成が停止し、これ以降、新規にIncoming Webhookを利用する場合、Power Automateのワークフローでコネクタを介して受信する方式に対応する必要あり
* 2024年12月31日: 既存のWebhook URLが無効化される予定 (ただし、URLを更新すれば2025年12月まで利用可能)

最新の情報は、以下のMS公式サイトをご参考ください。

Retirement of Office 365 connectors within Microsoft Teams

AWSユーザーも、**[AWS Health Aware](https://aws.amazon.com/jp/blogs/news/aws

元記事を表示

AWS-Parameters-and-Secrets-Lambda-Extensionを試す

## 背景
Lambda上でSSMパラメータストアの値を都度取得するのが嫌で調べてたら以下を見つけたので試して見る

https://docs.aws.amazon.com/ja_jp/secretsmanager/latest/userguide/retrieving-secrets_lambda.html#retrieving-secrets_lambda_env-var

* Lambda Layer は以下を指定
`arn:aws:lambda:ap-northeast-1:133490724326:layer:AWS-Parameters-and-Secrets-Lambda-Extension-Arm64:11`

## コード
“` typescript:index.mjs
import {SSMClient, GetParameterCommand} from ‘@aws-sdk/client-ssm’;

export const handler = async () => {
const path = “/hoge/secure/params”;

元記事を表示

AWS API GatewayでLambdaプロキシ統合を設定する方法

AWS API Gatewayを使用してLambda関数をプロキシ統合する際に、正しいレスポンス形式を使用しないと500エラーが発生することがあります。
本記事では、Rubyで書かれたLambda関数を使用して、正しいレスポンス形式を返す方法について説明します。

# Lambdaプロキシ統合とは
Lambdaプロキシ統合は、API Gatewayが受け取ったリクエストをそのままLambda関数に渡し、Lambda関数からのレスポンスをそのままクライアントに返すシンプルな統合方法です。
この統合方法を使用することで、リクエストやレスポンスのマッピング設定を簡略化できます。

# 正しいレスポンス形式
Lambdaプロキシ統合を使用する場合、Lambda関数は以下の形式でレスポンスを返す必要があります:
“`json
{
“statusCode”: 200,
“headers”: {
“Content-Type”: “application/json”
},
“body”: “{\”message\”:\”success\”}”
}
“`

bodyフィールド

元記事を表示

AWS Lambda上で「LINE Messaging API SDK for Python」を使ったコードをデプロイしてLINE Botを作ることを楽しむ

# はじめに

LINEの[Messaging API](https://developers.line.biz/ja/services/messaging-api/)を使ってオウム返しをするボットを作ります。

こちらの記事をとても参考にしています。ありがとうございます。

https://qiita.com/w2or3w/items/1b80bfbae59fe19e2015

LINEボットはWebhookを受け取って反応するものを作ればよいので、[Amazon API Gateway](https://aws.amazon.com/jp/api-gateway/)と[AWS Lambda](https://aws.amazon.com/jp/lambda/)の組み合わせでサクッと作れます。

大部分はさきほど紹介した上記記事をなぞってもらえばできます。
この記事では、[LINE Messaging API SDK for Python](https://github.com/line/line-bot-sdk-python)を[AWS Lambda](https://aws.am

元記事を表示

Lineでよさそうな部屋を紹介してくれるボットを作成する

# 借りる部屋を簡単に探したい
部屋を借りるときにSuumoなどのサイトを使って部屋を検索することができる。しかし、以下の理由により既存のサイトでは使いにくさを感じた。
・同じ物件を複数の不動産屋が掲載していて省きたい
・検索結果の情報量が多いので必要な情報だけを一覧で確認したい
・検索条件がある程度固定されている中(1人暮らし、家族向けなど)で物件同士を比較したい
・電車の中などで短時間で手軽に物件検索したい

そこで、これらの課題を解決するアプリを開発した。

# Lineで簡単に良さそうな物件を紹介してくれるボットの作成
Suumoから自分の探したい条件の物件を簡単に比較できるようなLineボットを作成した。
自分の探したい物件の情報としては、「神奈川県の北東寄り」「間取りは2LDK以上」、「家賃は15万円以下」などがあり、こちらに該当する物件が今回借りたい部屋の条件である。
また、物件同士で比較したい条件は「家賃」、「敷金/礼金」、「間取り」などがある。
詳しい検索条件、比較内容については以降で記載する。
以下完成したLineボットで物件について検索している画面である。
駅名や

元記事を表示

AWS LambdaでSupabaseを使用したらNo module named ‘pydantic_core._pydantic_core’が出た時の対処

## 問題
AWS LambdaでPythonからSupabaseを使用しようとしたら,
“`エラー
No module named ‘pydantic_core._pydantic_core
“`
と表示された.

## 原因
Supabaseで使用されているfastapiのバージョンが高すぎると動作しない様子.

## 解決策
fastapiのバージョンを下げてインストールした後に,Supabaseモジュールをインストールする.
“`
pip install -t ./python fastapi==0.99 supabase
“`
ここではfastapiのバージョンを0.99に指定している.

元記事を表示

タグベースによるEC2インスタンスの夜間停止によるコスト削減

https://github.com/koishitori/Lambda_function_EC2InsetanceChangeState
# 背景

このAWS Lambda関数は、タグ値で制御してEC2インスタンスの起動や停止を行うことができます。EventBridgeを使用した夜間の定期停止や、AWS Change Calendarを利用した不定期な長期停止など、様々なシナリオで活用できる汎用的なEC2インスタンス管理ツールです。Spotインスタンスの停止ができるようになったので、さらなるコスト削減のために作りました。

## 実行環境
### エンジン
Python3.12
### 環境
Lambda

## 関数の概要

この関数は以下の構造のJSONペイロードを受け取ります:

“`json
{
“region”: string, # 対象リージョン
“tagName”: string, # 対象EC2インスタンスのタグ名
“action”: string, # start(起動)またはstop(停止)
“test”: bool # テスト

元記事を表示

akippaの予約CSVからGoogleカレンダーに転記するLambda関数 #2

バックオフィスが生成AIでがんばるシリーズです。今回はプライベートで利用している[akippa](https://www.akippa.com/)の予約情報取得からGoogleカレンダー転記の自動化についてやっていきます。
1回目は[こちら](https://qiita.com/norifumiishii/items/c618547e49d7e97a1bde)
# Lambdaにレイヤーを準備する
今回GoogleカレンダーAPIを使用するのにあたり、Google系のライブラリをレイヤーで使用します。
ちなみに私LambdaでPythonを使用する際にライブラリはレイヤー機能で使用するというのを初めて知りました。
Windows11でPowershellを使用してレイヤーに使用するzipファイルを作成していきます。
1. 作業用ディレクトリを作成します
“`shell
mkdir lambda_project
cd lambda_project
“`
1. 仮想環境を作成して有効化する
“`sh
python -m venv ven

元記事を表示

AWS Lambdaで翻訳APIを作成するハンズオンをやってみた

# はじめに

SAAの勉強で知ったサービスを実際に触って学習内容の定着を図りたいという目的でハンズオンをやってみました。

参考にしたハンズオンの動画、資料は大変わかりやすかったのですが、動画が作成された段階でのコンソール画面と2024年8月時点でのコンソールが若干違っていたため少しわかりづらかったです…。
作業メモとしてこちらの記事を作成してみました。

以下のリンクから日本語でのAWSハンズオンや資料一覧を確認できます。
https://aws-samples.github.io/jp-contents-hub/

# AWS Lambda ハンズオン

今回参考にしたハンズオンはこちらです。
https://pages.awscloud.com/JAPAN-event-OE-Hands-on-for-Beginners-Serverless-1-2022-reg-event.html?trk=aws_introduction_page

# 使用するAWSのサービス

今回使用するAWSのサービスは以下の通りです
– [AWS Lambda](https://aws.amazo

元記事を表示

「RDSデータを長期的に格納」RDSからS3にスナップショットを自動的に輸出

RDSでスナップショットが最大35日間保存できます。長期間保存するためには、S3にエクスポートする必要があります。ただし、これはAWSコンソールでの手動機能に制限されています。この記事では、自動エクスポート方法について説明します。

# 1.前提
事前に以下のサービスを用意しておきます。
* Mysqlインスタントが立ち上がる(DBエンジンが任意)
* S3バケットが立ち上がる(デフォルト設定)

本記事で“`rds-snapshot-archive-test“`というS3バケットを用意ました。

# 2.構築・流れ

![Screenshot 2024-08-02 at 11.29.09.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/703979/45379411-114a-281b-d063-cde8a0cacc88.png)

1. RDS自体でスナップショットを撮影した時にSNSトピックにイベント送信
2. SNSはラムダ処理にトリガー
3. ラムダはRDSでS3輸出処理コマンド

元記事を表示

Backlog Gitリポジトリの更新をトリガーに、Amazon S3にコンテンツを自動でアップロードする

# はじめに

## この記事の概要

この記事では、タスク管理ツールBacklogのGitリポジトリとAmazon S3(以下、S3)との連携方法についてまとめています。
流れとしては、Backlog GitリポジトリのWebフックを使用して、リポジトリの更新をトリガーにLambda関数が実行されるようにします。そして、Lambda関数がS3にファイルアップロード処理を行います。
この一連の流れの具体的な構築方法や注意点をまとめています。

## BacklogのGit機能について

[Backlog](https://backlog.com/)はタスク管理ツールです。そして、その機能の一つにGit機能があります。
ソースコード管理といえば、IT業界全体では、おそらくGitHubを使用しているチーム(人)が多いと思いますが、タスク管理にBacklogを使用しているケースでは、タスクとソースコードの紐付けが行いやすかったり、タスク管理とソースコード管理(他にもWiki機能もあるのでドキュメント管理なども)を一元化できるなどのメリットがあります。

このGit機能は基本的には特に不自由な

元記事を表示

AWS CDKでCloudfront – Lambda FunctionURLsのOACを定義する

## 以前の記事

https://qiita.com/Kanahiro/items/85573c9ae724df435a6a

## TL;DR

“`typescript
import * as iam from ‘aws-cdk-lib/aws-iam’;
import * as cloudfront from ‘aws-cdk-lib/aws-cloudfront’;
import * as lambda from ‘aws-cdk-lib/aws-lambda’;

// 以下のようなリソースが定義されているとして(当然このままでは動かない)
const distribution = new cloudfront.Distribution({hoge:fuga});
const lambdaFunc = new lambda.DockerImageFunction({{hoge:fuga}};
const funcUrl = lambdaFunc.addFunctionUrl({
authType: lambda.FunctionUrlAuthType.AWS_IA

元記事を表示

VPCを設定したLambdaからインターネットにアクセスしたい

# 要約
① NATゲートウェイを設置したパブリックサブネットを用意する
② NATゲートウェイにルーティングさせるルートテーブルを設定したプライベートサブネットを用意する
③ Lmabdaに②で作成したプライベートサブネットを指定する

# 図解
![lamba-nat.drawio.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/676792/8c9a4293-ef95-5d5d-5291-03e449645f42.png)

Lambdaは、デフォルトの設定ではAWSが自動で設定したVPCに設置され、自由にインターネットへのアクセスができます。

ただし、なんらかの事情で(例えばVPC内のリソースにLambdaからアクセスしたい時など)自分のVPCにLambdaを設置したい場合は、

図のようにNATゲートウェイを経由してインターネットにアクセスする必要があります。

# なぜNATを経由する必要があるのか
例えば、以下のようにパブリックサブネットに直接Lambdaを設置してインターネットにアクセス

元記事を表示

Autonomous Database:S3にファイルがアップロードされたらすぐに表にロードし、ロード完了後にS3上のファイルを削除する

# はじめに

[こちらの記事](https://qiita.com/500InternalServerError/items/fac9e8d5d7638a4a4020)の応用編として、Amazon S3バケットにファイルがアップロードされたら、それをトリガーにしてLambdaファンクションが起動、起動したLambdaファンクションがAutonomous Databaseに接続してアップロードされたファイルを表にロードし、ロード後にロードしたファイルをAmazon S3から削除する仕組みを構築してみました。

処理の流れのイメージは以下のようになります。

1. Amazon S3のバケットにファイルをアップロード

2. Amazon S3バケットのオブジェクト作成イベントをLambdaに通知

3. LambdaからAutonomous Databaseにアクセス

4. Amazon S3にアップロードされたファイルを表にロードし、ロード後にファイルを削除するPL/SQLプロシージャをLambdaから実行

5. PL/SQLプロシージャによって、Amazon S3にアップロード

元記事を表示

OTHERカテゴリの最新記事