- 1. APIGateway + AWS Lambda の構成でCloudWatch Logsに出力されるログ
- 2. バイナリファイルのアップロード・ダウンロードを自在に操ろう
- 3. EC2 SchedulerでEC2を平日だけ稼働させてコスト削減する
- 4. 【AWS】S3+CloudFrontで静的サイトをホスティング + LambdaでBASIC認証つける
- 5. AWS Lambda Layer(NodeJS)の作り方
- 6. LINEBotをみんなで作ろう〜コードを実装編〜【GWアドベントカレンダー最終日】
- 7. LINEBotをみんなで作ろう〜レイヤーとAPIgateway設定編〜【GWアドベントカレンダー7日目】
- 8. AWS CDKで既存リソースをLambdaへサブスクライブする（別リージョンSNS、CloudWatchLogs Subscription Filterのサンプル）
- 9. 人のTwitterアカウントを見つめるやつ
- 10. AWS Lambdaでネイティブライブラリを含む場合の環境
- 11. 【鉄則】サーバレスLINEbotの実運用法が確立した【論文調】
- 12. LambdaとAPI GatewayとAurora Servelessでwordpress動かしてみた
- 13. Cloud 9 + lambdaでbot作成 ーpart2
- 14. AWSのEC2サーバーをLambdaを使って自動起動
- 15. AWS-Lambda + PythonでCSVデータをAWS-S3に書き込む
- 16. CodeCommitのイベントから自動でSonarQubeのプロジェクトを設定するLambda関数のSAMテンプレート
- 17. API GatewayにおけるセッションIDの固定化攻撃の危険性について
- 18. AWS-Lambda + PythonでAWS-RDS/PostgreSQLのテーブルを読み込む
- 19. 【Node.js】JTW生成処理をSAMで作る
- 20. AWS-Lambda + Python + CronでWEBスクレイピングを定期的に実行する
APIGateway + AWS Lambda の構成でCloudWatch Logsに出力されるログ
## 知りたかったこと
Amazon API GatewayとAWS Lambda とでサーバレスなAPIを構築し、デバッグに有用なログを得られるのかを知りたいんです。Lambda関数は変更せずに、マネージメントコンソールの設定変更で出力されるログは何ですか。
## 3行で
1. AIMポリシー `AmazonAPIGatewayPushToCloudWatchLogs` を付与したIAMロールをAPIGatewayに設定
2. APIGatewayのステージエディタの「ログ/トレース」タブで 「CloudWatch ログを有効化」にチェックをつけて、追加表示される「リクエスト/レスポンスをすべてログ」にもチェックをつける
3. CloudWatch Logsロググループ「API-Gateway-Execution-Logs_{rest-api-id}/{stage-name}」を見る## 構成
シンプルに API Gateway の Lambda プロキシ統合 を使って Lambda関数を呼び出します。
のサーバの場合と、AWSのAPI Gateway＋Lambdaの場合を取り上げます。毎度の通り、ソースコードは以下に上げておきました。
poruruba/fetch_laboratory
https://github.com/poruruba/fetch_laboratory#バイナリファイルの送信
それでは、送信するクライアント側のWebページから見ていきます。
まずは従来からの、HTMLのSubmitボタンで送信する場合です。
HTMLは以下のような感じになります。“`html:index.html
【AWS】S3+CloudFrontで静的サイトをホスティング + LambdaでBASIC認証つける
何番煎じかわかりませんが備忘録兼ねて…
[前回の記事](https://qiita.com/duplicate1984/items/3a4d93a2e9bb5fcf54d1)でAmazon ConnectのCCPをカスタマイズしてWebページを作成しました。
Amazon Connect Streamsの仕様により、httpsでホスティングしなければいけないので、
パブリックアクセスを制限したS3にWebページを配置、CloudFrontを経由することでHTTPSによるアクセスを必須とします。
また、ついでにLambdaでBASIC認証を設定します。#まずS3とかCloudFrontってなに？
AWS初心者なのでまずここからでした。###S3
Amazon Simple Storage Service
一言でいうとクラウドストレージサービス。安価で容量無制限、高い堅牢性を謳う。
静的Webサイトを配置して公開したり、ログファイルや諸々のデータをバックアップするなどユースケースは幅広い。
Webサイトを配信する際はCloudFrontを経由することが推奨されており、
クラウド
AWS Lambda Layer(NodeJS)の作り方
# NodeJSを動かすのにライブラリが不足する事態発生
– 説明端折りますが、どうやらLayerというものを入れれば良いと検索して分かる。
– 作り方が色々書いてあって、最初間違っているサイト（バージョンが古い？）を閲覧してしまったハマったので自分の方法を記載します。# バージョン
– Node 12.16.03 ※13を使っていたのですが、Lambdaが執筆時は13をサポートしていなかったので、12にダウングレードしました。
– ダウングレード方法は、ここを見て下さい。
https://qiita.com/realtakahashi/items/a398e83a961c8dcfa109# 闇雲に作ってはいけない。決まりがあった
– 決まった方法やディレクトリ名で作る
– ディレクトリ名は「nodejs」※それ以外は多分NG“`
mkdir nodejs
cd nodejs
“`
– ディレクトリ内でnpm initをします。 ※全てデフォルト、エンターでOKです。
– そして、必要なライブラリをインストールします。※例では３つ（require、puppeteer-c
LINEBotをみんなで作ろう〜コードを実装編〜【GWアドベントカレンダー最終日】
この記事は下記の [#GWアドベントカレンダー](https://gw-advent.9wick.com/calendars/2020/72) の 8日目の記事になります。
1週間でサーバレスLINEBotを生み出す( @inoue2002 ） | GWアドベントカレンダー
# はじめに
こちらの内容は超初心者向けです。
[公式ドキュメント](https://developers.line.biz/ja/docs/messaging-api/overview/#messaging-api%E3%81%AE%E4%BB%95%E7%B5%84%E3%81%BF)を読める方はこちらをお読みいただく方が正確です。[昨日の記事](https://qiita.com/inoue2002/items/ab226d9836a891b01bc9)をご覧になってない方はぜひ。
こちらの記事はGWアドベントカレンダーを通してLINEBotをサーバレスで作れるようになろう！ということを目標に書いている記事です。LINEBotは作れるけどAWSでサーバーレスを作ってみたい！方向けの記事です
昨
LINEBotをみんなで作ろう〜レイヤーとAPIgateway設定編〜【GWアドベントカレンダー7日目】
この記事は下記の [#GWアドベントカレンダー](https://gw-advent.9wick.com/calendars/2020/72) の 7日目の記事になります。
1週間でサーバレスLINEBotを生み出す( @inoue2002 ） | GWアドベントカレンダー
# はじめに
こちらの内容は超初心者向けです。
[公式ドキュメント](https://developers.line.biz/ja/docs/messaging-api/overview/#messaging-api%E3%81%AE%E4%BB%95%E7%B5%84%E3%81%BF)を読める方はこちらをお読みいただく方が正確です。[昨日の記事](https://qiita.com/drafts/ad945981150c859911fc)をご覧になってない方はぜひ。
こちらの記事はGWアドベントカレンダーを通してLINEBotをサーバレスで作れるようになろう！ということを目標に書いている記事です。LINEBotは作れるけどAWSでサーバーレスを作ってみたい！方向けの記事です
昨日の記事でAWSア
AWS CDKで既存リソースをLambdaへサブスクライブする（別リージョンSNS、CloudWatchLogs Subscription Filterのサンプル）
仕事でaws-cdkを使ってLambdaのデプロイを自動化する対応をおこないました。
主に既存リソースの別リージョンSNSをサブスクライブさせたり、CloudWatchLogsのSubscription FilterをLambdaのトリガーに設定したりなどの対応をしたのでニッチな記事だと思うけど書き残しておきます。サンプルコードは
cdk version 1.36.1
TypeScript
で記述しています。## 利用した事はないけど存在は知っていた
はい、IaC初心者の私はキャッチアップから始めました
[aws-cdk workshop](https://cdkworkshop.com/)
[AWS CDK Reference Documentation](https://docs.aws.amazon.com/cdk/api/latest/)workshopのスライドを見て大まかな操作は理解できたので、細かい仕様を確認しようとCDKのドキュメントへアクセスしましたが、情報量が膨大過ぎて初見は直ぐに閉じました。（色々調べ始めると結局見なければならないので最終的には見れるよ
人のTwitterアカウントを見つめるやつ
# 経緯
昔の知人X氏が何かの弾みで道を踏み外し、別の知人A氏やB氏に対して脅迫行為（結局本物の警察沙汰になりました）を始めたので、特定のTwitterアカウントの言動を監視するBOTを作りました。
技術的に特に難しいものではないのですが、せっかくなので公開します。https://github.com/netebakari/twitter-serverless-watchdog
# やること
監視BOTのようなものは動かしていることを忘れてしまうぐらいがちょうどいいのでサーバーレスで実装します。設定はDynamoDBに登録しておきます。
AWS Lambdaが定期的に対象アカウントのツイートを取得して、指定されたキーワードを検知したら次のようなツイートでお知らせします。> 1000000000000000000以降のチェックを行い、N件の監視対象ツイートが見つかりました。 @null宛で引用RTします。
> 現在の監視アカウント: @kiken_na_hito, @abunai_hito, @kowai_hito
> 現在の監視キーワード: https://YOUR-BU
AWS Lambdaでネイティブライブラリを含む場合の環境
## はじめに
Pythonの依存ライブラリにおいてネイティブライブラリを使う場合は、
ビルド（pipする）する環境と、AWS Lambda側の環境を揃えておくという話は昔から聞いていました。ただ、実際に何がどう影響してダメなのか？全然調べたこともなかったので、
ハマったついでに`pip install`で取得したライブラリを確認してみたメモです。## Lambda実行時に発生したエラー
### エラー内容
`pyproj`という距離計算を行うモジュールを使用した場合に発生しました。
（このエラーだけ見ても、最初は何が悪いか全然分かりませんでしたが。。。）“`python
[ERROR] Runtime.ImportModuleError: Unable to import module ‘lambda_handler’: cannot import name ‘_datadir’ from partially initialized module ‘pyproj’ (most likely due to a circular import) (/var/task/
【鉄則】サーバレスLINEbotの実運用法が確立した【論文調】
# 背景
LINE bot を周知戦略としてビジネスに使うことが増えている．しかし，チーム開発でどうLINE botを開発し運用すべきかという議論はあまり行われていない．ここでは，LINE botのバックエンドにHTTP APIをトリガーとしたLambdaを用いたモダン開発運用のエコシステムを提言する．# 概要
LINEbotのチーム開発運用の鉄則としてこれらを提言し，具体的な手法について詳細に説明する．
1. 開発botと本番botに分ける
2. APIとLambdaでステージ管理を行い，それぞれのbotに紐付ける
3. Lambdaのコードはdocker環境にてローカルで開発する(以下のメリットがある)
– gitHub管理下に置け，チーム開発に適する
– Lambdaのコードをいつでもローカル環境
LambdaとAPI GatewayとAurora Servelessでwordpress動かしてみた
# そもそもLambdaとAPI GatewayとAurora Servelessでwordpressは動くのか
社長 「wordpressを全面に出すのはあれやから、staticファイルで吐くやつほしいなあ」
社長 「コストを限りなく下げて」
社長 「でもwordpressのインターフェイスは捨てがたいよねえ」
社長 「( ﾟдﾟ)ﾉ ﾖﾛ」ということで、始まった低コストで作るwordpress環境構築ですが
結論から言うと
“`
LambdaとAPI GatewayとAurora Servelessでwordpressは動きます。
yes, you can…
(実運用できるとは言っていない)
“`# Lambdaはサーバではないので、ファイルが置けない
wordpressってファイルを置くことが求められるので、アップロードされたときにどうするか・・・。“`
そうだ、俺達にはS3というサービスがあるじゃないか!!
“`ということで、S3にアップロードするプラグインを使えばこの問題は解決します。
# Lambdaはインターネットに口を開けてないよね?
Cloud 9 + lambdaでbot作成 ーpart2
# はじめに
本投稿ではpart1から引き続きlambdaを定期実行してTwitter APIを叩き、
AM10時（JST）につぶやくbotを作成します。
ここでは下記を実施します。
・Cloud9の環境構築
・bitflyer APIをAWS Lambdaで叩いてみる
・Cloud9からAWS Lambdaをデプロイする# Cloud9環境構築
Cloud9はGUIでファイル編集ができるうえ、
Linuxコマンドラインを実行できる。AWSコンソール > Cloud9
から新規インスタンスを構築cloud9にはもともとpython3.6がインストール済み。
下記から確認“`
python –version
“`# Lambda ファンクション作成
右ペインのAWS Resourcesからlocalにlambda functionを作成
（name bottest）
のクラウドサービスと異なり、AWSは基本的には従量制です。インスタンス(CPU)やストレージ(ディスク)、トラフィックのデータまでほとんどのサービスが使った量・時間に対して課金されます。
EC2インスタンスは停止すれば課金されない(正確にはストレージや固定IPアドレス等は停止中も課金される)ので、使わないときはEC2インスタンスを停止しておき、使用時のみ起動して立ち上げる仕組みを、AWS Lambdaを使って構築します。弊社ではソーシャルゲームを開発・運用していますが、イベント実行時には普段の十数倍のアクセス集中や負荷があります。AWSではオートスケール機能もありますが、あらかじめ予定されているのであれば時間前にサーバーを追加しておくのが安全です。
また、 バッチファイル実行やログ収集を夜中や早朝に行う場合などにも、必要時のみ起動できればコスト削減に役立つでしょう。#AWSドキュメントの参照
AWSを解説したサイトは多いですが、Lambd
AWS-Lambda + PythonでCSVデータをAWS-S3に書き込む
# AWS-Lambda + PythonでCSVデータをAWS-S3に書き込む
## はじめに
`Mac環境の記事ですが、Windows環境も同じ手順になります。環境依存の部分は読み替えてお試しください。`
### 目的
この記事を最後まで読むと、次のことができるようになります。
| No. | 概要 | キーワード |
| :— | :———– | :———— |
| 1 | コーディング | Python, boto3 |
| 2 | Lambda設定 | Lambda |### 実行環境
| 環境 | Ver. |
| :————- | :—— |
| macOS Catalina | 10.15.3 |
| Python | 3.7.3 |
| boto3 | 1.11.17 |### ソースコード
実際に実装内容やソースコードを追いながら読むとより理解が深まるかと思います。是非ご
CodeCommitのイベントから自動でSonarQubeのプロジェクトを設定するLambda関数のSAMテンプレート
# 前提条件
いろいろごちゃ混ぜなことをしてしまったので、以下の前提。
Lambda, Python, SAMはセットみたいなものだから、ごちゃ混ぜのようでそんなに敷居は高くないか。– Pythonをちょっと書いたことがある
– SAMテンプレートをちょっと書いたことがある
– Lambdaのイベントハンドラまわりの仕様をそれなりに理解している
– CloudWatch Eventsをなんとなく知ってる
– SonarQubeをなんとなく知ってる# いきなりIaC
マネージメントコンソールの画面ポチポチで作るのは面倒なので、いきなりSAMテンプレートを書いて追って解説をする。
こんなPythonのコードをインラインで書くなよ……というツッコミはしない。
あと、どう考えてもこれはStepFunctionsで実装した方がカッコイイ気がするけど、SAMでまとめてデプロイとかできなくて面倒なので、一旦このかたちにする。本題のSAMテンプレートは以下。
“`YAML
AWSTemplateFormatVersion: 2010-09-09
Transform: AWS::Serv
API GatewayにおけるセッションIDの固定化攻撃の危険性について
# API GatewayにおけるセッションIDの固定化攻撃の危険性について
この記事は、 [すごくなりたいがくせいぐるーぷ GWアドベントカレンダー](https://gw-advent.9wick.com/calendars/2020/87)最終日の記事です。
## はじめに
CookieのDomain属性について調べていたら、ふと
「APIGatewayのエンドポイントって`amazonaws.com`のサブドメインだから、Domain属性で`amazonaws.com`指定してCookieセットできんじゃね？」
と思ったので検証してみました。要するに、都道府県型jpドメイン・地域型jpドメインのクッキーモンスターバグのようなことが`amazonaws.com`でも起こってしまうのではないかということです。
※クッキーモンスターバグについては徳丸先生の[こちらの記事](https://blog.tokumaru.org/2013/03/csrf-and-cookie-monster-bug.html)をご覧ください。また、[RFC6265の8.6](https:
AWS-Lambda + PythonでAWS-RDS/PostgreSQLのテーブルを読み込む
# AWS-Lambda + PythonでAWS-RDS/PostgreSQLのテーブルを読み込む
## はじめに
`Mac環境の記事ですが、Windows環境も同じ手順になります。環境依存の部分は読み替えてお試しください。`
### 目的
この記事を最後まで読むと、次のことができるようになります。
| No. | 概要 | キーワード |
| :— | :———– | :————— |
| 1 | コーディング | Python, psycopg2 |
| 2 | Lambda設定 | Lambda |### 実行環境
| 環境 | Ver. |
| :————- | :—— |
| macOS Catalina | 10.15.3 |
| Python | 3.7.3 |
| psycopg2 | 2.8.4 |### ソースコード
実際に実装内容やソースコードを追いなが
【Node.js】JTW生成処理をSAMで作る
[前回の続きです。](https://qiita.com/Shu3/items/edacbfbea4b1b6aaf877)
Zoom会議をSlackをお知らせするアプリにてZoom APIに必要なJWTを生成する処理をSAMで作成しました。（下図の赤枠）
時間ができたらやりたいと思っていましたが、思ったよりすぐやっちゃいました。さすがStayHome週間（笑）
※本記事ではSAM,SAM-CLIなどの詳述は割愛します。ご了承ください。
# SAMを始める
[公式](https://docs.aws.amazon.com/ja_jp/serverless-application-model/latest/developerguide/server
AWS-Lambda + Python + CronでWEBスクレイピングを定期的に実行する
# AWS-Lambda + Python + CronでWEBスクレイピングを定期的に実行する
## はじめに
`Mac環境の記事ですが、Windows環境も同じ手順になります。環境依存の部分は読み替えてお試しください。`
### 目的
この記事を最後まで読むと、次のことができるようになります。
| No. | 概要 | キーワード |
| :— | :—————- | :————————————– |
| 1 | コーディング | Python |
| 2 | WEBスクレイピング | Selenium,chromedriver,headless-chromium |
| 3 | Lambda設定 | Lambda |### 実行環境
|
