- 1. custom-resource-apigw-cw-roleがnode16.xランタイムでデプロイされる件
- 2. APIを呼び出すLambdaで、リクエストヘッダーを全部送るとRuntime.MarshalErrorが起きる
- 3. AWS LambdaでPlaywrightを動かす
- 4. Excel の LAMBDA 関数でDECODEURL作成
- 5. Lambda layersの作成方法 (Cloud9で簡単作成)
- 6. 【Bedrock×Lambda】高精度なハイブリッド検索RAGをサーバレスで実装(Slack連携も可)
- 7. 【Lambda】手動実行する際、意図せず2重実行される事象について
- 8. AWS Lambda で CloudWatch アラームの自動有効化/無効化を行う方法
- 9. サーバレスアーキテクチャによる静的ウェブサイト構築
- 10. LINEBOT でClaude 3 に問い合わせできるようにしてみる (AmazonBedrock)
- 11. Slack連携による生産性向上の施策(その2)〜Slack App編〜
- 12. Lambdaで定時刻に呟くDiscord Botを作る
- 13. #AWS S3にアップロードされたZIPファイル自動解凍
- 14. Lambdaで実装するIotトピックのSubscriberとPublisher
- 15. LambdaからEventBridge Schedulerを作成してみた
- 16. LambdaでGoのHelloWorldをやってみた
- 17. AWS Lambda関数作成入門してみます。
- 18. AWSとGoogle Cloudで、とりあえず簡単にRAGを構築してみたい!(API呼び出しもあるよ)
- 19. 難しいことはわからんが、とりあえずRAGを構築してみたい!(AWS編)
- 20. CloudFrontがLambda Functions URLへのOACに対応! の何がすごいか
custom-resource-apigw-cw-roleがnode16.xランタイムでデプロイされる件
## いきさつ
ある日AWSからnode16のサポート終了のお知らせが届きました。> …
LambdaでのNode.js 16のサポートは2024年6月12日に終了します
…自分のLambdaを眺めていると、`xxx-custom-resource-apigw-cw-role`node16ランタイムがいました。
これはServerless frameworkでデプロイしたときに自動生成されるもので、API GatewayのCloudWatch Logsのロールを作成するために使用されるらしい。
slsのバージョンを上げればいけそうだな〜と思い現在のバージョンを確認すると`3.38.0`。これは記事執筆時点での最新バージョンです。えぇ…。調べてみると以下のやりとりが:
https://github.com/serverless/serverless/issues/12307ざっくり、こんな流れでした:
– サーバーレスフレームワークを介して作成されたcustom-resource-apigw-cw-role lambdaのランタイムを変更するにはどうすれば
APIを呼び出すLambdaで、リクエストヘッダーを全部送るとRuntime.MarshalErrorが起きる
# 起こったこと
自分で開発したAPIを叩いて、戻ってきたレスポンスをそのまま返すAWS Lambdaを作っていたのですが、固定のヘッダーをつけてリクエストするときは問題なく呼び出せるのに、API Gatewayに渡されたリクエストヘッダーをそのままつけてリクエストすると、原因どころか発生箇所すらもよく分からないエラーが起きるようになりました。
“`python:lambda_function.py
import json
import urllib.requestdef lambda_handler(event, context):
headers = event.get(‘headers’)
request_body = event.get(‘body’).encode(‘utf-8’)# リクエスト送信
req = urllib.request.Request(‘https://xxxx/api/v1/yyyy’, headers=headers, method=’POST’, data=request_body)
with
AWS LambdaでPlaywrightを動かす
今まで https://github.com/JupiterOne/playwright-aws-lambda を使わせてもらっていたのですが、コードを更新すると急に動かなくなってしまい https://github.com/Sparticuz/chromium に乗り換えたので導入メモです。
ほとんどREADMEに記載の通りです。
“`
npm init
npm install –save playwright-core
npm install –save-dev @sparticuz/chromium
“`– node_modulesフォルダをzip化
– 50MBを超えるのでS3にアップ
– Lambdaのレイヤーを作成
– 先ほどS3にアップしたzipのURLを指定
– x86_64とNode.js 18.xを指定
– Lambdaの関数を作成
– 先ほど作成したカスタムレイヤーを追加
– 設定→一般設定からメモリを2000MB程度、タイムアウトを2分程度に増やす
– コードソースのindex.mjsをindex.jsに変
Excel の LAMBDA 関数でDECODEURL作成
# はじめに
既に至るところで指摘されていますが、EXCELにはENCODEURL関数はありますが、なぜかDECODEURL関数はありません。
しかし、Teams や Sharepoint でファイル情報を共有する際、パーセントエンコーディングされた文字列をデコードしたいと思いこそすれ、エンコードしたいとは思いません。だって、ブラウザのアドレスバーに入力すれば勝手にエンコードしてくれますもん。当ページでは、ENCODEURL関数の対になるDECODEURL関数の作り方を紹介します。
使い方は簡単で、以下のLAMBDA関数をコピーし、Excelのメニューバー「数式」⇒「名前の管理」⇒名前の管理ダイアログで『新規作成』ボタンをクリックし、名前にDECODEURLと設定して「参照範囲」に数式を貼り付けて登録するだけでOKです。“`text:DECODEURL
=LAMBDA(txt,
LET(
Z, LAMBDA(f, LET(g, LAMBDA(x, f(LAMBDA(v, u, LET(xx, x(x), xx(v, u) )))), g(g))),
Lambda layersの作成方法 (Cloud9で簡単作成)
## 初めに
Lambdaを開発する上で、どうしても追加ライブラリが必要になることがあります
そういう時は、layers機能を使い、対応しますが、今回Cloud9で四苦八苦したので、
備忘録として、残します## 対応したい内容
– jwtライブラリが必要になった為、layers機能で対応する## Cloud9でLayerを作成する
#### Cloud9 起動
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3747609/c456a765-5a59-2138-c53f-175215c32676.png)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3747609/4ab5b832-b1b7-0fc6-746f-ade3b5bc648c.png)AmazonLinux2023で、起動していきます。
Cloud9の管理コンソールに入ります。
![image.png](https
【Bedrock×Lambda】高精度なハイブリッド検索RAGをサーバレスで実装(Slack連携も可)
# はじめに
近年、**大規模言語モデル(LLM)** の発展により、LLMを活用する機会が増加しています。
その中でも、LLMを組み込んだ仕組みの一つとして、**RAG(Retrieval-Augmented Generation)** が注目を集めています。本記事では、はじめに、**検索精度を向上させたRAGアーキテクチャ**を紹介します。
次に、それを**AWS上で実装する方法**について紹介します。本記事で紹介したアーキテクチャの実装に用いるソースコードはGitHubで公開しています。
https://github.com/Naoki0513/hybrid-rag-container
# 検索精度を向上させたRAGアーキテクチャ
## RAGの概要と検索手法
RAGの用途としては、社内文書など非公開ドキュメントを読み込ませ、そこから回答できる社内専用AIチャットボットなどが考えられます。
そのため、RAGの精度向上のためには、ナレッジベースから検索する際に必要なドキュメントを的確に取得できるかが重要な要素の一つとなります。
RAGにおける検索手法には、様々
【Lambda】手動実行する際、意図せず2重実行される事象について
## 発生事象
EC2インスタンスのイメージバックアップを取得するLambda関数をLambda コンソールの [テスト] 画面にて関数のテストを実行した際に、1 度のテスト実行操作に対して関数が 2 回呼び出されました。
⇒バックアップ処理自体は問題なく完了したが、CloudWatchアラームにてエラーとして検知されてしまいました。■Lambda実行時、CloudWatchに出力されたログ
![Lambda.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3691986/42606099-c306-b525-e53e-33f86025ab8e.png)
同時刻に2つのログストリームが生成され、片方のログは成功、もう片方は失敗という内容でした。Lambdaの仕様として、同期呼び出しとしてLambdaを実行すれば多重実行を防げるといったような情報も確認しましたが、同期実行(CloudShellからの実行)でも2重実行されてしまいました。
※参考
https://docs.aws.amazon.com
AWS Lambda で CloudWatch アラームの自動有効化/無効化を行う方法
この記事では、AWS Lambdaを使用してCloudWatchアラームを自動的に有効化または無効化する方法を詳しく説明します。
AWS EventBridgeとCloudFormationも活用し、完全に自動化されたソリューションを構築する方法について解説します。#### 1. Lambda関数の概要
**cloudwatch-alarm-autostop** と **cloudwatch-alarm-autostart** という2つのLambda関数を作成します。
これらの関数は、CloudWatchのアラームを特定のタグに基づいて有効または無効にします。##### cloudwatch-alarm-autostop
このLambda関数は、タグ `Alarm-AutoStop` の値が `yes` のアラームを無効にします。“`python
import boto3def lambda_handler(event, context):
cloudwatch = boto3.client(‘cloudwatch’)
nt = None
サーバレスアーキテクチャによる静的ウェブサイト構築
# はじめに
このリポジトリは、S3、API Gateway、Lambda、RDS、IAMを利用したサーバレス構築の概要を説明します。この構築は、Terraformを使用してIaC (Infrastructure as Code) を実現し、静的ウェブサイトのホスティング、APIゲートウェイによるリバースプロキシ、Lambda関数の実行、RDSデータベースの利用を実現します。以下がレポジトリです。
https://github.com/sugiyama404/practice_lambda
参考記事
https://qiita.com/suzuki-navi/items/6a896a6577deaa858210
# 構成
サーバレスアーキテクチャ構成図:
![aws.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/731268/2ead2e19-4c1d-4802-
LINEBOT でClaude 3 に問い合わせできるようにしてみる (AmazonBedrock)
# 今回作成する成果物
– AmazonBedrock (Claude 3 Sonnet)にLINEBOTから質問をできるようにする### 参考サイト
https://www.ryucom.co.jp/blog/aws/4713/https://qiita.com/taku-0728/items/c80bcf65aba318ac6db0
https://developers.line.biz/ja/docs/messaging-api/receiving-messages/#verify-signature
## 構成図
![LINEBOT×Claude_アーキテクチャー図.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3747609/4c129bf7-e163-e78b-5317-0eae68c3bae1.jpeg)
## 前提
– AmazonBedrockでClaude 3 Sonnetが利用できるアカウントをすでに所有している
– AWSのリージョンは、バージニア北部(us-ea
Slack連携による生産性向上の施策(その2)〜Slack App編〜
# はじめに
こちらの記事は三部構成になっております。
– [Slack連携による生産性向上の施策(その1)〜Workflow Builder編〜](https://qiita.com/oc-arimura/items/ff4c194c617a9d309d9c)
– Slack連携による生産性向上の施策(その2)〜Slack App編〜
– Slack連携による生産性向上の施策(その3)〜AWS Lambda編〜また、全ての記事の内容を含んだ動画も用意しております。
動画で確認したい方は[コチラ](https://www.youtube.com/watch?v=JE7ZVJ9yE9Q)まで。
※動画開始50分頃からの内容になります。# Slack App登録の前に
Slack Appから呼び出されるAPIの準備をします。
## Lambda関数作成
1. AWSのコンソール画面でサービス名に `lambda` と入力し、サービス一覧から【Lambda】をクリック
![スクリーンショット 2024-04-11 17.41.10.png](https://qiita-image-s
Lambdaで定時刻に呟くDiscord Botを作る
# やりたいこと
AWSのLambdaを用いて、毎分0秒に「やっほー」と呟くDiscordのBotを作成します。
## 本記事の対象者
* とりあえずLambdaで何かしてみたい方
* サーバーレスでBotを作ってみたい方## 前提条件
Discordの開発者ポータルからアプリ作成+Bot作成は済んでおり、**Botトークン**が取得できている状態(まだない方は、簡単なのでぜひ取得してみてください)
![スクリーンショット 2024-04-07 17.48.08.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3287737/9613f259-3894-b6e8-227e-fc337b3a4c2e.png)
↑こちらの画面のToken発行ボタンから取得するものです。
※Botのアイコン画像は[ぷしおメーカー](https://vps1-net000.sfc.keio.ac.jp/pushiomaker/)様で作成しました。# 1. 関数の作成
1. Lambdaコンソールを開く
1. 「
#AWS S3にアップロードされたZIPファイル自動解凍
# S3にアップロードされたZIPファイル自動解凍について:
Cloudfrontに繋いでいるS3へのファイルアップロードを簡素化するため、Zipファイル格納用S3に新しいZipファイルのアップロードが検知されたら、対象Lambdaが有効化され、Zipファイル格納用S3からZipファイルをダウンロードして解凍し、Cloudfront用S3にアップロードします。本記事はそれを実現するlambdaを紹介いたします。
# 処理フロー:
1. Zip格納用S3にZipファイルのアップロードが検知された
↓
2. 自動解凍&アップロードLambdaを呼び出す
↓
3. (Lambda) Zip格納用S3から対象Zipファイルをダウンロードする
↓
4. (Lambda) 対象Zipファイルを解凍する
↓
5. (Lambda) 解凍した資材一式をCloudfront用S3にアップロードする
↓
終了# Lambda作成:
以下の手順を踏んで作成します1. AWSコンソール画面の上部にある検索欄から「Lambda」を入力し、検索する
2. Lambda詳細画面の左メニューの「関数」を
Lambdaで実装するIotトピックのSubscriberとPublisher
# はじめに
最近、過去に業務で設計・実装したAWS IotトピックのSubscriberとPublisherのインフラコードを整理してみました。これを機に、アーキテクチャや実装した内容について記事で紹介しようと思います。ソースコードは下記repoをご参照ください。
※今回紹介する内容は汎用的なものであり、実際業務で実装したアーキテクチャやアプリのロジックの記載はありません。https://github.com/to-fmak/iot-topic-subscriber-publisher-demo
# やりたいこと
– Iotデバイス等からIotトピックに送られたメッセージをsubscribeし、DynamoDBに書き込みたい
– 特定のDynamoDBにアイテムが作成or更新or削除された際に、そのイベントの詳細をIotトピックにpublishし、Iotデバイス等で受信したい# アーキテクチャ
## Subscriber
![iot-demo-subscriber.png](https://qiita-image-store.s3.ap-northeast-1.am
LambdaからEventBridge Schedulerを作成してみた
# 背景・目的
EventBridgeをアプリケーションから作成する機会がありましたので、簡単に試してみます。# 概要
## Amazon EventBridge スケジューラとは
[Amazon EventBridge スケジューラとは](https://docs.aws.amazon.com/ja_jp/scheduler/latest/UserGuide/what-is-scheduler.html)を元に整理します> Amazon EventBridge スケジューラはサーバーレススケジューラで、一元化されたマネージドサービスからタスクを作成、実行、管理できます。EventBridge スケジューラは拡張性が高く、270 を超える AWS サービスと 6,000 を超える API オペレーションを呼び出すことができる何百万ものタスクをスケジュールできます。EventBridge スケジューラでは、インフラストラクチャをプロビジョニングして管理したり、複数のサービスと統合したりすることなく、スケジュールを大規模に配信してメンテナンスコストを削減できます。
– マネージド
LambdaでGoのHelloWorldをやってみた
GoはシングルバイナリでLambdaと相性が良いらしい・・・といったレベルの初心者なので、まずは公式のドキュメントのとおりにやってみる。
https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/golang-handler.html
“`go mod init main“`して、“`go.mod“`を作成し、“`main.go“`に例示されたコードを張り付ける
“`go
package mainimport (
“context”
“fmt”
“github.com/aws/aws-lambda-go/lambda”
)type MyEvent struct {
Name string `json:”name”`
}func HandleRequest(ctx context.Context, event *MyEvent) (*string, error) {
if event == nil {
return nil, fmt.Errorf(“received nil event”)
}
AWS Lambda関数作成入門してみます。
# FaaS(Function as a Service):Lambdaとは
![Arch_AWS-Lambda_64.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3511203/1557e3c9-6f10-7eda-a726-f4dbc0d15978.png)Lambda(ラムダ)とは、AWSのサービスの1つです。
小さな計算をサーバーなしで実行するためのサービスで、サーバレスなコンピューティングサービスなどと言う紹介のされ方が一般的です。関数の種類としては所謂イベントドリブン型と言われるやつで、特定のイベントでトリガーされ、関数が動くという仕組みです。ざっくり過ぎてすみません。## Lamdaの料金体系
無料枠について。
アカウント作成時はLambdaの場合「1,000,000リクエスト/月」無料で使用可能です。個人開発の範囲であれば越えることはまずないと思います。## 関数の作成
![スクリーンショット 2024-04-12 19.26.37.png](https://qiita
AWSとGoogle Cloudで、とりあえず簡単にRAGを構築してみたい!(API呼び出しもあるよ)
# この記事について
RAG(Retrieval-Augmented Generation)は、質問への回答を生成する際に外部データベースの情報を取得することで、LLM単独では応えきれない問題(最新の情報、社内独自の情報など)へ対応する技術です。最近話題になっているので、いちど試してみたい!と思っている方も多いのではないでしょうか?
しかし、試してみたいと思っても使うモデルや技術・サービス・手法等々いろいろな情報が溢れていて結局何をどう使えばいいのかわからん…ということになりがちです。この記事では、「難しいことはわからんが、とりあえずRAGというものを構築してみたい」という方向けに、AWSおよびGoogle Cloud上に少なめの準備でRAGを作って試す手順を紹介します。
とりあえず作ってみて、難しいことは後で考えればいいじゃない!という精神でRAG+API呼び出しの構築を進めてみて、実際に動作させた感触やかかった利用料などを紹介できればと思います。なお、この記事を書いている私自身、RAGの手法や精度向上にまったく詳しくないけどとりあえず構築してみた人間のひとりです。
#
難しいことはわからんが、とりあえずRAGを構築してみたい!(AWS編)
## この記事について
この記事は、[AWSとGoogleCloudで、とりあえず簡単にRAGを構築してみたい!(API呼び出しもあるよ)](https://qiita.com/ckw-1227/items/d8f89757349b90e35fa7)のAWS編として、AWSでの構築手順をまとめたものになります。
GoogleCloud編や、AWSとGoogleCloudの比較を見たい方は親記事からどうぞ。## 0. 使用するサービス
AWSではAmazon Bedrockのナレッジベースを使用します。(先日まではメニューが英語で「KnowledgeBase」と書かれていた気がするんですが、いつの間にかコンソールが変わってカタカナ表記になっていたので、この記事でもカタカナ表記にします)ナレッジベースで外部から与える情報源と使いたいデータベースサービスを指定すると、RAGを構築できるようになっています。
## 1. S3にテキストファイルを配置する
Bedrockに触れる前に、まずは外部情報となるテキストファイルをS3に配置します。テキストファイルの作成については親記事で触れてお
CloudFrontがLambda Functions URLへのOACに対応! の何がすごいか
# はじめに
CloudFrontのOrigin Access Control(OAC)がLambda Functions URLに対応しました。
つまり、Functions URLとCloudFrontのインテグレーションが実現できるようになりました!うおおおお!https://aws.amazon.com/jp/about-aws/whats-new/2024/04/amazon-cloudfront-oac-lambda-function-url-origins/
と、このアプデの何がすごいの? という点がいまいち伝わってない人向けに、この記事ではもろもろの経緯とユースケースを紹介します。
## 経緯
### Functions URLs、その課題
2022/4にLambdaの組み込みエンドポイントとしてLambda Functions URLが利用できるようになりました。
https://aws.amazon.com/jp/blogs/news/announcing-aws-lambda-function-urls-built-in-https-endpoint