- 1. 【AWS Lambda レイヤー】設定したときにハマった話
- 2. AWS lamdaからS3にファイルをアップロードする
- 3. LambdaからDynamoDBへデータを登録する(Ruby)
- 4. Serverlessでlambdaデプロイする手順とデプロイしようとした時のエラー対応
- 5. AWS Lambda(Python)にてジオコーディングの一つであるGeoHash(ジオハッシュ)を扱う
- 6. [AWS Lambda Powertools Python]パラメータ機能のtransform動作を確認
- 7. [AWS Lambda Powertools Python]パラメータ機能のキャッシュ動作を確認
- 8. 処理を続けるLambdaを中断させる方法とか
- 9. NAT Gawatewayを使ったLambdaのIPアドレスの固定化方法
- 10. Notion へ瞬時にメモできるLINEbotをつくってみた
- 11. aws lambda numpy importエラー
- 12. CloudFormationでLambda(Python) + RDS Proxy + Auroraを構築する
- 13. TradingViewのアラート機能から自動売買botを作る その１
- 14. AWS Parameters and Secrets Lambda Extension つかってみた
- 15. AWS LambdaでPython向けLayerを作ろうとしたらはまった話
- 16. SAMを使ってAPI-Gateway経由でAWS::Serverless::Functionから画像をダウンロードする
- 17. AWS EC2 インスタンスタイプの一括自動更新
- 18. AWS Lambdaのnodejsランタイムでsharpを使うと”Something went wrong installing the \”sharp\” module”でエラーになる場合の解決法
- 19. 画像を任意のフォーマット&サイズに変換するLambda関数を作成する
- 20. JavaプロジェクトからSQSにキューを送信してlambdaをキックする
【AWS Lambda レイヤー】設定したときにハマった話
# 初めに
AWS Lambda でBoto3の最新バージョンを使いたくて、レイヤーを設定する際にハマった箇所の備忘録です。### (そもそも)なぜレイヤーを使う？
AWS Lambda でPythonのBoto3を使うとき、
* デフォルトでのBoto3は __Ver.1.20.32__
* 最新のBoto3は __Ver.1.25.1__となっていました。何が問題化かというと、公式ドキュメントに書かれているサンプルコードの通りに実装しても動かないんです！！（ひどい落とし穴）
### 前提
この辺りを参考にしながら進めました。とてもに参考になります。
本記事ではレイヤーの作成方法は記載しませんので、レイヤーの作成方法自体わからないという方は下記サイトをまずはご覧ください。https://dev.classmethod.jp/articles/lambda-boto3-layer/
https://qiita.com/shimajiri/items/e0e41f2c7a8ac99f3253
# 本題
## 罠１：フォルダパス
### 動かなかったもの
“`
b
AWS lamdaからS3にファイルをアップロードする
いろいろなやり方があるようで、右往左往してしまったので、その経緯を備忘録的に残します。
結論として、
* API gatewayでマッピングテンプレートを設定する
* API gatewayでバイナリメディアタイプを設定する
* lambdaロールにS3へのアクセス権限を付与する
がポイントのようです。## lambda関数の作成
pythonで作成します。
1. AWS lambdaから関数の作成へ
1. 任意の関数名を入力、python 3.8を選択して関数を作成します。
# はじめに
LambdaとDynamoDBを使用すればIOT用のグラフページを作成できるのではと思ったのでその備忘録。
この記事では図中上の「IOTデータ保存」部分を実施。
# DynamoDBの設定
パーテーションキーとソートキーがある
上記例ではパーテーションキーがidでソートキーがtime
パーテーションキーのみ、またはパーテーションキーとソートキーの2つを指定する事が可能。今回のIOT機器の場合、idが機器固有の番号、timeがデータを計測した際の時間としています。
理由としてと
Serverlessでlambdaデプロイする手順とデプロイしようとした時のエラー対応
## 読者の対象
– Serverless初心者でエラーに困る方々
– windowsユーザ
————
## serverless環境のインストール“`
# 実行ポリシーを確認（windowsターミナルを管理者実行して実行権限を確認してください）
Get-ExecutionPolicy# powershellでチョコレートのパッケージインストール
Set-ExecutionPolicy Bypass -Scope Process -Force; [System.Net.ServicePointManager]::SecurityProtocol = [System.Net.ServicePointManager]::SecurityProtocol -bor 3072; iex ((New-Object System.Net.WebClient).DownloadString(‘https://community.chocolatey.org/install.ps1’))# チョコレートでサーバレスフレームワークインストール
choco inst
AWS Lambda(Python)にてジオコーディングの一つであるGeoHash(ジオハッシュ)を扱う
# 本記事の内容
– AWSが提供するLambda(Python)にて、経緯度に基づくジオコーディング方法の一つであるGeoHash(ジオハッシュ)を扱う方法を記載した記事です。
– PythonベースのLambdaにてGeohashを扱う記事があまりなかったため、ライブラリーをLambdaに組み込み利用する方法をまとめました。# 実施環境
– Windows 10
– Chrome
– AWS# 説明の流れ
1. ジオハッシュライブラリーのダウンロード
2. Lambdaデプロイ用のzipファイル作成
3. Lambdaでの動作確認## 1. ジオハッシュライブラリーのダウンロード
PythonのGeoHashライブラリーは、[ここ](https://pypi.org/project/python-geohash/#files)からダウンロードする。
 [^1] の機能のうち、[パラメータ機能(Parameters)](https://awslabs.github.io/aws-lambda-powertools-python/latest/utilities/parameters/) [^2] にはJSONとbase64を変換してくれる機能が含まれています。
簡単なサンプルで動作を確認します。[^1]: [AWS Lambda Powertools Python](https://awslabs.github.io/aws-lambda-powertools-python/latest/)
[^2]: [Parameters](https://awslabs.github.io/aws-lambda-powertools-python/latest/utilities/parameters/)# 確認手順
対象はSSM P
[AWS Lambda Powertools Python]パラメータ機能のキャッシュ動作を確認
# 概要
## パラメータ機能
[AWS Lambda Powertools Python](https://awslabs.github.io/aws-lambda-powertools-python/latest/) [^1] の機能のうち、[パラメータ機能(Parameters)](https://awslabs.github.io/aws-lambda-powertools-python/latest/utilities/parameters/) [^2] はAWSの下記を利用したアプリケーションパラメータ読み取り機能を提供してくれます。
[^1]: [AWS Lambda Powertools Python](https://awslabs.github.io/aws-lambda-powertools-python/latest/)
[^2]: [Parameters](https://awslabs.github.io/aws-lambda-powertools-python/latest/utilities/parameters/)– AWS Systems
処理を続けるLambdaを中断させる方法とか
JAWS-UG 朝会にてLTをやった内容をもうちょい深掘りしてみました。
Lambda の処理が止まらなくなったので、やったことをまとめてみます。## やろうとしていたこと
KinesisからのストリーミングデータをLambdaで受け取り、よしなに処理したあとに別サービスへとAPI連携をしていこうとするつもりでした。## CloudWatch にずっと出てくるログを見て・・・
メッセージを見るために何度かみているのですが、どうもずっと動いているようでした。
最初は継続しているのかな？と思いながら見ていたのですが、１分で出ている量がおかしいと思い、対処していくことにしました。## まずは止めにかかる
### Lambda を一時停止させる
兎にも角にも Lambda は停止しないと無限課金されるので一旦処理を止めます。
止める方法は対象の関数から「同時実行」→「編集」から「同時実行の予約」の数を 0 に設定します。これで処理は一旦止められたのでそこから見ていきます。
同時実行の設定を戻すと当然処理が再開されますので、一時しのぎです。### Lamb
NAT Gawatewayを使ったLambdaのIPアドレスの固定化方法
## はじめに
株式会社マイスター・ギルド新規事業部のヒツジーです。
弊社新規事業部では、新規サービスの立ち上げを目指して
日々、アイディアの検証やプロトタイプの作成などを行っています！技術の進歩は目覚ましいので、置いてかれないように新しい技術のキャッチアップにもいそしんでいます！
本記事は、以前書いた[FastAPI with Lambda + API Gatewayでサーバレスアプリケーションを作成する方法](https://qiita.com/Shinkijigyo_no_Hitsuji/items/cedd1825e5437663d3ce)の続編として、AWSのサービスであるNAT Gawatewayの使い方についてご紹介します。アクセス制限がかかっている外部サーバーのDBにAWS Lambdaからアクセスするには、IPアドレス
Notion へ瞬時にメモできるLINEbotをつくってみた
# はじめに
スマホから瞬時にメモをしてNotionでも確認できるbotを作りました。参考にしたソースコード、サイトを部分的に紹介します。# 作ったもの
できることはシンプルで2つだけです。
### 1. LINEのトークルームで入力した内容をNotionテーブルにも記録する。
### 2. webページもコメント付きで記録できる。
aws lambda numpy importエラー
aws lambdaでDBにinsertする処理を作成していたのですが、その際pandasが必要でimportしたところ、
“`
Function Logs
START RequestId: 00d85ae0-ce8e-4472-91f5-413f21e3bea3 Version: $LATEST
[ERROR] Runtime.ImportModuleError: Unable to import module ‘lambda_function’: Unable to import required dependencies:
numpy:IMPORTANT: PLEASE READ THIS FOR ADVICE ON HOW TO SOLVE THIS ISSUE!
Importing the numpy C-extensions failed. This error can happen for
many reasons, often due to issues with your setup or how NumPy was
installed.We have
CloudFormationでLambda(Python) + RDS Proxy + Auroraを構築する
# 本記事の内容
– AWSが提供するCloudFormationサービスを利用し、Lambda(Python)、RDS Proxy、Auroraを建てる方法を記載した記事です。
– これまでに以下の記事でAurora関連をCloudFormationで実施していました。その続編です。
- [検証目的のためにCloudFormationでシングルインスタンスのAuroraを建てようとしたら手こずった話](https://qiita.com/kanamekun/items/4db938d52712b1165c37)
- [CloudFormationでAuroraとLambdaを構築。LambdaでLOAD DATA FROM S3コマンドを実行しS3のCSVファイルをAuroraにインポートする。](https://qiita.com/kanamekun/items/53da2f73bcc2e5d68dc2)本記事の手順で以下のような構成のクラウド環境を作成します。
➡APIGateway➡lambda
という流れで自動売買が可能になる。
Zapier( https://zapier.com/ )というWebhookを受け取れるサービスの使用も考えたが、
料金が円安で地味に高いので、一番料金のかからなさそうなAWSを使用することとした。## lambdaの作成
まずlambdaの作成を行います。
今回はpython3.7で作成を行いました。
」を参照しています。
# 事象
`pip -t`でインストールしたディレクトリを圧縮・Layer化したのに
SAMを使ってAPI-Gateway経由でAWS::Serverless::Functionから画像をダウンロードする
# はじめに
AWSのSAMでASP.NET Core WebApiプロジェクトを作りPDFなどをダウンロードする場合、APIGatewayに設定を行わないとBase64でエンコードされたファイルがダウンロードされてしまいます。
これ自体は[API Gateway REST API を使用したバイナリサポートの有効化](https://docs.aws.amazon.com/ja_jp/apigateway/latest/developerguide/api-gateway-payload-encodings.html)の記載に従い、マネジメントコンソールで操作をすれば解決はできるのですが、SAMのテンプレートでこれを指定すにはどうすればよいでしょうか？# 前準備
AWS関連のプロジェクトテンプレートと、Lambda関連のデプロイサブコマンドをインストールしていない場合はインストールしておいてください。
“`sh
❯ dotnet new –install Amazon.Lambda.Templates
❯ dotnet tool install -g Amazon.La
AWS EC2 インスタンスタイプの一括自動更新
# TODO
* EC2のイベント対応で夜間に自動停止・起動
* インスタンスタイプを夜間に自動更新# 内容
## tag
* Key=Schedule, Value= [1:予約あり, 0:予約実行完了]
* オプション
例）t3.microに変更
Key=InstanceType, Value=t3.micro## EventBridge
* 例）毎週木曜日0時に処理
cron(0 15 ? * WED *)## Lambda
“`python:lambda_handler Python3.9
import boto3
import json
import pprintdef lambda_handler(event, context):
cnt = 0
log_msg = []
task_tag = ‘Schedule’client = boto3.client(‘ec2’)
reservations = client.describe_instances(
Fi
AWS Lambdaのnodejsランタイムでsharpを使うと”Something went wrong installing the \”sharp\” module”でエラーになる場合の解決法
# 結論
“`bash
$ npm install
$ rm -r node_modules/sharp/
$ npm rebuild –arch=x64 –platform=linux sharp
“`# sharp
画像リサイズやフォーマット変換してくれる。
しかし、そのまま`npm install`しても AWS Lambda でエラーになる。https://sharp.pixelplumbing.com/
# エラー内容
## Lambdaのエラーメッセージ“`log
Something went wrong installing the “sharp” moduleCannot find module ‘../build/Release/sharp-linux-x64.node’
Require stack:
– /var/task/node_modules/sharp/lib/sharp.js
– /var/task/node_modules/sharp/lib/constructor.js
– /var/task/node_modules/
画像を任意のフォーマット&サイズに変換するLambda関数を作成する
任意のBase64にエンコードされた画像をリクエストで送るだけで、フォーマットとサイズを変換してレスポンスで返してくれるLambda関数を作成する方法です。
こういう汎用的なAPIが欲しくなる場面って割とあると思うので、すぐに作成できるように手順を残します。
## 例
変換前
変換後(100×100に収まるように設定)
## ユースケース
– 画像形式もサイズも
JavaプロジェクトからSQSにキューを送信してlambdaをキックする
# 前提
業務でこんな処理を実装する気がするので、簡単に予習してみます。
今回は動くか検証のみなので、ローカルで起動したJavaアプリケーション（Spring Boot）からSQSにメッセージを送信してみます。本当はlambdaからrdsへ登録・更新する処理を実装したかったのですが、それはまた別の機会に。（なのでSQSやlambdaの名前がmergeXXXXみたいになってます。）
# 環境
– macOS: 12.6
– IntelliJ IDEA: 2022.2.3 (Community Edition)
– Gradle: 7.5
– Java: temurin 17.0.3# 手順
## プロジェクトの作成
#### spring initializrでプロジェクト作成
[https://start
