- 1. 画像から人物の性別、年齢を推測するLine botを作ってみた
- 2. MediaLiveで出力したアーカイブファイルをMP4に自動変換する
- 3. DynamoDBでPromiseが使えた(Lambda Node.js)
- 4. Lambda + API GatewayでCORSを有効にしているのにCORSでエラーになる
- 5. ServerlessでさくっとWebサイトを構築する
- 6. ElixirでAWS LambdaでGithubActionsで継続デプロイ
- 7. 【AWS】API GateWay + LambdaでSlakcアプリケーションの認証を行う方法
- 8. AuroraServerlessを操作するAPI(GET、PUT、POST)+lambdaを作る。
- 9. codecommitのPullRequestをredmineのチケットに連携する
- 10. Elastic Beanstalkのインスタンスやボリュームのタグをデプロイ時に更新
- 11. codecommitとredmineを連携させる
- 12. APIGateway+Lambda+ServerlessFramework（言語：Python&Golang）の色々。offlineモードとかバイナリアップロードとか
- 13. LambdaでPHPを実行する手順
- 14. Amazon API GatewayのHTTP API使ってみた
- 15. スロークエリをSlackに通知してみた
- 16. node.js製のlambdaアプリをコマンド一発でアップロードする方法
- 17. Github Actionsを使ってRuby製のAWS Lambda関数を更新する
- 18. [Python3]datetimeにタイムゾーンを指定するawareな方法
- 19. 初心者が５分で出来る簡単サーバレスAPIを構築してみる【Lambda】
- 20. AWS Support との思い出をいつまでもとっておけるようにしました。
画像から人物の性別、年齢を推測するLine botを作ってみた
# 概要
lineを使って、送信した画像から
性別、年齢予想、表情分析を実施するbotを作成しました。こんな感じ
画像を送ると、分析した結果が返ってくる(3人まで同時に写っててOK)
ソースコードは[こちら](https://github.com/vesono/photo_recog_line_b
MediaLiveで出力したアーカイブファイルをMP4に自動変換する
#はじめに
MediaLiveでライブ配信を行う際、アーカイブを残しておくことがあるかと思います。
2020年1月現在では、MediaLiveのアーカイブ出力はtsファイル形式のみ対応しています。tsファイルはVLCなどの動画プレイヤーを使わないと再生することができないため、
利用しやすいmp4ファイルに変換する必要があるという機会に何度か遭遇しました。そのときに構築した自動でmp4に変換する仕組みを簡単に記載しておきます。
##ざっくり構成図
MediaLive -> S3 -> Lambda -> MediaConvert -> S3
##MediaLive
Output Groupで「Archive」を選択します。##S3
tsファイルを置くフォルダと
mp4フ
DynamoDBでPromiseが使えた(Lambda Node.js)
# はじめに
Lambda(Node.js)でDynamoDBに接続し、値を取得したいときに、
非同期であるために、自分でPromiseで返す関数を作成していた。コード
“`javascript
/**
* データの挿入を行う。
* @param ddb
* @param params
* @returns {Promise}
*/
exports.addItem = function (ddb, params) {
return new Promise(function (resolve) {
ddb.putItem(params, function (err, data) {
if (err) {
console.log(“PUT失敗”, err, err.stack);
} else {
console.log(“PUT成功”);
resolve(data);
Lambda + API GatewayでCORSを有効にしているのにCORSでエラーになる
Amazon Pinpoint を使用するために、[チュートリアル: E メール設定管理システムの設定](https://docs.aws.amazon.com/ja_jp/pinpoint/latest/developerguide/tutorials-email-prefs.html)をやってみたら、[ステップ 6: ウェブフォームを作成してデプロイする](https://docs.aws.amazon.com/ja_jp/pinpoint/latest/developerguide/tutorials-email-prefs-part-6.html)で引っかかったので。
## API GatewayでCORSは有効になっている
API Gatewayのメソッドレスポンスではこんな感じで設定済みなのに、いざ違うドメインから実行しようとするとブロックされてしまう。
– S3
– API Gateway
– Lambda
– DynamoDB全てAWSのサービスを利用します。社内ユースということで、S3、API GatewayへのアクセスはIPアドレスで制限します。
# 2.Lambda
Pythonで書こうと思ったのですが、外部ライブラリをLambdaで利用するにはローカルでP
ElixirでAWS LambdaでGithubActionsで継続デプロイ
# はじめに
「Elixirで簡単にAWS Lambdaの開発ができるようになれば、もっとElixirが流行るのでは？」
そんな想いから、Elixirで実装されたAWS Lambdaの関数をGithubにプッシュすると、Github Actionsが自動でビルドしAWSにデプロイしてくれる仕組みを試してみました。
# ElixirでAWS Lambda
AWSの公式としてElixir用のAWS Lambdaランタイムは用意されていないので、ElixirでAWS Lambdaを動かすためには、Elixirで実装したコードを動かすためのカスタムのAWS Lambdaランタイムを用意する必要があります。
また、Elixirでは`mix release`でElixirやErlang不要で実行可能なパッケージを作成することができるのですが、このパッケージを実行するためには、パッケージを実行する環境で作成する必要があり、AWS Lambdaの場合は、Amazon Linuxの環境でビルドする必要があります。
つまり、ElixirでAWS Lambdaを動かす場合、Amazon Linu
【AWS】API GateWay + LambdaでSlakcアプリケーションの認証を行う方法
SlackのEventをAPI GateWayで処理し、Lambdaを起動しています。
APIのアドレスが漏れた場合、攻撃を受ける可能性が有る為、API GateWayで何かしらの対策ができないかと思い記事を書こうと思いました。# Slackの認証方法について
以下の2種類があります。– リクエストのBody内の文字列を利用した認証
– Signing Secretを用いた認証# リクエストのBody内の文字列を利用した認証
## SlackのEvent APIについて
Eventが発生すると、下記のようなJSONが発行されます。“`json:Slackのイベント
{
“token”: “XXYYZZ”,
“team_id”: “TXXXXXXXX”,
“api_app_id”: “AXXXXXXXXX”,
“event”: {
“type”: “name_of_event”,
“event_ts”: “1234567890.123456”
AuroraServerlessを操作するAPI(GET、PUT、POST)+lambdaを作る。
# 作るもの
今回、DBに入れるデータは以下のものとして進める。
|id|name|age|
|:—:|:—:|:—:|
|1|Apigateway|12|
|2|lambda|34|
|3|Dynamodb|56|_contents_
* Aurora serverless、シークレットマネージャとは
* Aurora serverlessのDBの作り方。
* lambdaからAurora serverlessへアクセスする方法。
* APIでGET、PUT、POSTする方法## Aurora serverlessとは？
DBのインスタンス部分とストレージ部分が分離した構造を取っており、アクセスがない時にはインスタンス部分は起動しておらず、ストレージ部分のみが存在する。アクセスを受けると、負荷に応じてインスタンスが
codecommitのPullRequestをredmineのチケットに連携する
概要
—
[これのシリーズもの](https://qiita.com/turbo5522mame/items/d5a7e126f993eb185d29)
codecommitでpullrequestしたときに、関連するredmineのチケットのコメントに通知を出したくてごにょごにょした記録。
手順にはなってませんが、ヒントにはなるかな、と。
こんな感じで。
やりたい構成図
—
ざっくりこんなかんじ
やったこと概要
—
### 前提
codecommitでブランチを切るときに必ずred
Elastic Beanstalkのインスタンスやボリュームのタグをデプロイ時に更新
#なぜ
* .ebextensionsで環境プロパティからインスタンスやボリュームにカスタムタグを追加している。管理ルールが変わりタグ更新が必要になったため、何気なく更新したらデプロイに失敗した。目的の環境プロパティをタグ以外の処で参照していた。
* シンプルに.ebextensionsを修正する何のことでもないことだが、保守担当に説明すると承認が必要のこと。これは時間がかかりそうだ。#遠回り
改善策でサーバ構成もプログラムも遠回りしてはいけない。根本原因をつぶすのがベストだ。しかし、
承認とリリースまで1~2ヵ月はかかりそうなことと、以前からLambdaのイベントトリガーを試してみたかったことがあり今回は遠回りをする。
## Lambda
* LambdaのRoleは事前登録しておく“`python:Python3.8
imp
codecommitとredmineを連携させる
概要
—
世の中的にgit→redmineはやり方整ってるけど、codecommit→redmineは無いのでごにょごにょした記録。
手順にはなってませんが、ヒントにはなるかな、と。[※こっちはPullRequestの連携](https://qiita.com/turbo5522mame/items/48f1fdcd95a7fd4409f4)
やりたい構成図
—
ざっくりこんなかんじ
やったこと概要
—
### redmine側の設定
– redmineにgit連携のプラグイン[github_hook](https://github.com/koppen/redmine_github_hook)を入れる
– redmineのサーバにcodecommit上のリポジトリのbareリポジトリを作る参考にしたサイトは[こちら](
APIGateway+Lambda+ServerlessFramework（言語：Python&Golang）の色々。offlineモードとかバイナリアップロードとか
##はじめに
APIGateway＋Lambdaを使って、RESTfullなAPIによるPDF生成APIをデプロイメントする時に色々とハマったので、その時の備忘録を記事にしました。基本はServerlessFrameworkを使ったデプロイメントの自動化を目指して作業をしていった内容をまとめています。
##APIGatewayでメディアタイプの追加
まず、APIGatewayのバイナリレスポンス対応がどういうフローになるかを説明しておきます。– 【リクエスト】
ブラウザ → (jsonリクエスト） → APIGateway → Lambda– 【レスポンス】
Lambda → （ファイルを文字列：Base64変換） → APIGateway → （文字列をデコード:Base64変換） → ブラウザ上記のようにLambdaからはBase64変換されたバイナリデータの文字列が返却される事が期待されています。Lambdaで返却する時の処理として、ここがまずポイントになります。
###APIGatewayのバイナリサポート周辺
APIGatewayでPDFファイルを直接返す
LambdaでPHPを実行する手順
なるべく、簡潔にできるようにまとめてみました。
##前提
Mac
AWSアカウント作成済
Dockerインストール済##手順
1. Docker内で、PHPの実行環境を作り、それをzip化
2. そのzipファイルをLambdaにアップロード
3. API GatewayでAPI作成##1. Docker内で、PHPの実行環境を作り、それをzip化
[`stackery/phplambdalayer`](https://github.com/stackery/php-lambda-layer)というツールを使うと、**makeコマンド一つ**で簡単にできました。このツールには、PHPの実行環境をzip化するために必要なスクリプトや、Lambdaでカスタムランタイム自体を動作させるboostrapファイル等がまとめて入っている
“`
$ git clone https://github.com/stackery/php-lambda-layer.git
$ cd php-lambda-layer
$ make php71.zip
“``php71.zip`と
Amazon API GatewayのHTTP API使ってみた
# はじめに
lambdaをさわっててAPIGatewayのコンソールを覗いてみたら見覚えのない選択肢がありました。
この`HTTP API`なるもの、新機能らしいです。
しかも出たばかり。
ホットなので使ってみました。※検証時点ではプレビュー版となります。
# HTTP API
クラスメソッドさんが解説してくれてます。
いつも助かります。Amazon API Gatewayは「HTTP API」と「REST API」のどちらを選択すれば良いのか？ #reinvent
なにやら従来のREST APIよりも簡単に使えそうな雰囲気ですね。
# やりたい事
curlでapi叩いてlambda動かしたい。
認証も噛ませたい。# やってみた
## lambda作る
* ウィザードに従い、ぽちぽち作る。
* 言語はpython3.7を指定。
* ソースはこんな感じ。“`
import jsondef lambda_handler(event, context):
return {
‘isBase64Encoded’: False,
スロークエリをSlackに通知してみた
最近スロークエリをSlackに通知するようにしたので、そのやり方をまとめておきます。Slackに通知したいと思った背景などは以下の記事をご参照ください。
https://qiita.com/yuzoiwasaki/items/d8b56a98822e2b2bb6e7上の記事で全く技術的なことを書けなかったので、この記事では主に技術の話をします。
## スロークエリをSlackに通知する方法
こちらの記事を参考にさせていただきました。ありがとうございます。
基本的には上記の記事の内容で事足りたのですが、運用していくうちにいくつか無視したいクエリが出てきました。アプリケーション側でキャッシュしているためそれほど気にする必要がないクエリや、管理画面のLIKE検索などすぐには解決が難しいが優先度は低いものなどです。
Slack通知が無視して良い項目で埋まってしまうと本当に重要なクエリを見落とす危険性があったため、無視して良いものは通知から除外するようにしました。
#
node.js製のlambdaアプリをコマンド一発でアップロードする方法
node.jsでlambdaのアプリを作っているのですが、コードやパッケージが増えてくるとインライン編集出来なくなったり、zipでアップロードする必要が出てきます。ちょっとした変更でもわざわざawsのサイトに行ってアップロードするのは面倒ですし、複数のlambdaアプリを作っていたら間違えて別の関数にアップロードしてしまった、といった事故も起きるかもしれません。そこで、コンソールからコマンドでアップロードできるようにする方法を書きます。
※動作確認環境: macOS 10.14.6
# aws CLIの設定
まずawsのCLIをインストールします。バージョンが出ればOKです。
“`
$ brew install python3
$ pip3 install aws
$ aws –version
“`次にawsのユーザー情報を設定する必要がありますが、アクセスキーが必要になります。IAMでAdministratorAccessポリシーを持ったユーザーを作成しておきます。
アクセスキー、シーク
Github Actionsを使ってRuby製のAWS Lambda関数を更新する
# モチベーション
AWSコンソールを開いたり、AWS CLIを使わずに、gitの操作だけでAWS Lambda関数のデプロイを完了します。近年、[Github Acitons](https://github.com/features/actions)というGithub純正のCI/CDツールがリリースされました。
これを使って、Githubで管理しているAWS Lambda関数の変更を、AWSに反映します。# 前提条件
今回はRubyで作成されたAWS Lambda関数を更新します。
Lambda関数とデプロイスクリプトが同じ言語だとメンテナンスが楽なので、デプロイにもRubyを使います。## 先駆者
検索すると、AWS Lambda関数をデプロイするGithub Acitonsがいくつか公開されているのが見つかります。[^1]
[^1]: https://github.com/marketplace?utf8=%E2%9C%93&type=actions&query=lambda
例えば [Deploy AWS Lambda function](https://
[Python3]datetimeにタイムゾーンを指定するawareな方法
PCでコーディングしたプログラムをAWSのLambda関数で実行したら、`datetime.now()`で取得される時刻が異なることに気づきました。PCはJST時間、AWSはUTC時間のため9時間の差があることが原因です。
プログラムを変えずにPCでもAWSのLambda関数でも同じ結果を得るために、datetimeにタイムゾーンを指定する方法を調べました。#環境
– Python 3.7.4#問題の事象
例えば次のプログラムを実行すると、PCで取得される現在時刻と、AWSのLambda関数で取得される現在時刻に9時間の差異が発生します。9時間の差異なので、Lambda関数で実行するときには` + timedelta(hours=+9)`として9時間足せばいいのだけれど、それではPCからLambda関数に持っていくときにプログラムの修正が発生するので望ましくないため、プログラムを変更せずに同じ結果が得られるようにしたいと考えました。“`python:lambda_function.py
from datetime import datetime, timezone, ti
初心者が５分で出来る簡単サーバレスAPIを構築してみる【Lambda】
#はじめに
今回は機械学習ではないのですが、自分がAWSの試験を受けるにあたり、IT初心者としてサーバレスについてイメージが難しいところがありました。
サーバーへの考慮がいらない、サーバーのメンテナンスや管理をしなくていいと言われていますが、実際使い勝手などが分かりにくい。少しでも理解できるようになるために、1杯のコーヒーよりもコストが低いAPIの作成を実践してみました！
[AWS Black Belt 公式より抜粋](https://d1.awsstatic.com/webinars/jp/pdf/services/20190814_AWS-Blackbelt_SAM_rev.pdf)##AWSのサーバレスサービス
サーバレスとは言いますが、サーバが存在していないわけでは無いのです。
あくまでもAWS側がサポートしてくれて、サーバを
AWS Support との思い出をいつまでもとっておけるようにしました。
## AWS Support みなさん使っていますか？
わたしの好きなサービスのひとつが AWS Support なのは皆さんご存知だとは思います。
試験に出ますよ。さて。
この AWS Support を使って問い合わせたもの(起票したもの)は、起票後12か月間は使えるとのこと。
https://aws.amazon.com/jp/premiumsupport/faqs/
>**Q: ケース履歴の保存期間はどれほどですか?**
>
>サポートケースの履歴は、作成後12ヵ月間ご利用いただけます。ということは、起票から12か月経過すると、 AWS Support との思い出がなくなってしまう！？
軽微な質問や超重要な障害への問い合わせも全部なくなってしまうの！？それは、なんだか嫌だな、って。
と、弊社の複数のつよつよエンジニアーズから同じタイミングで話をもらったので、
ものは試しと、AWS Support との思い出を取っておけるようにしてみました。## レシピ
### 登場人物
– AWS Support
– ~~AWS Support との思い出~~ サポートケース
