- 1. AWS初心者がClaude 3.5 Sonnetとお話できるLinebot作った話
- 2. 【参加備忘録】AWS 大阪リージョン Network Dive Deep For Partnerイベント
- 3. AWS DeepRacerに初挑戦しました！
- 4. タグベースによるEC2インスタンスの夜間停止によるコスト削減
- 5. ついにClaude 3.5 SonnetがAWS東京リージョンのBedrockで利用可能に 🎉
- 6. 祝🎉東京リージョンにClaude3ファミリーが登場！早速バージニア北部と対決させてみた！
- 7. 東京リージョンのBedrockにClaude 3がやっと来た！？宇宙最速で検知して確認してみた
- 8. 【Fargate／ALB】keycloakとALB認証でWebアプリケーションを保護
- 9. 【Fargate】keycloakを構築してみる
- 10. 【AWS】S3＋CloudFrontのOACでセキュアに静的ウェブサイトを公開する方法
- 11. 【AWS】起動テンプレートとBatch Compute環境を同時に書くと、起動テンプレートが3つ生成される
- 12. 画像変換エンジンを構築して画像配信システムを運用にのせた話
- 13. failure-analysis-assistant (FA2) で AIops を実現する
- 14. Knowledge bases for Amazon Bedrockのチャンキング戦略を確認する
- 15. Dify の公開アプリ・埋め込みチャットを Amazon Cognito 認証でセキュアにする (IaC コード付き)
- 16. 「Amazon S3 マルチリージョンアクセスポイント(MRAP)」のアクセス制御
- 17. 【AWS EC2 + Flask + Docker + SQLite】AWS EC2上にFlaskプロジェクトをデプロイする方法
- 18. AWS Python 処理結果を S3 経由で Redshift にコピー
- 19. 結局 QuickSightでグラフを表示する際に、SPICEとAthenaどっちが安く表示できるのか問題について
- 20. AWS Config マネージドルールを使ったリソースの設定管理
AWS初心者がClaude 3.5 Sonnetとお話できるLinebot作った話
# はじめに
1ユーザー企業の情シス担当者ですが、CLaide 3.5 Sonnetの力を借りながらLINEでLambdaをキックしてユーザー入力に応答させるLINEボットを作ったので備忘録まとめてみました。※disclaimer
初心者がClaude3.5に聞きながらこねくり回して作ったので間違いやベストプラクティスに反している部分があるかもしれません。良ければコメントでご教示ください。# 用意するもの
・AWSアカウント
・LINE Developerアカウント
・まとまった時間
・諦めない心# Lineアカウントを作ろう！
まず、LINEデベロッパーコンソールにアクセスし、新規アカウントを作成。ビジネス用のアカウントとして登録し、必要な情報を入力します。
ボット用チャネルも作成し、チャネル基本情報の中にある”チャネルシークレット”をどこかに控えておきましょう。同様にMessage API設定の中にある”チャネルアクセストークン”もどこかにコピペしておきます。# Lambda関数を作ろう！
LINEの設定が終わったらいよいよAWSでLambda関数を作っていきます。
【参加備忘録】AWS 大阪リージョン Network Dive Deep For Partnerイベント
7月18日にAWS大阪支社で開催されたAWS 大阪リージョン Network Dive Deep For Partnerイベントに参加してきました。
今回はその内容について備忘録を残したいと思います。### ■当日のイベントの実施内容
・大阪リージョン活用のススメ(オープニングトーク)
・AWS Direct Connect Black Belt 2024夏
・AWS Direct Connect Hands On Transit VIF編### ■大阪リージョン活用のススメ(オープニングトーク)について
オープニングトークは、イベントが大阪支社での開催であったこともあり、テーマは大阪リージョンの特徴とユースケースでした。個人的に印象的だった話は東京リージョンと大阪リージョンのサービス数の比較です。
自分はまだ実務でAWSサービスを利用したことがないため意識をしたことがなかったのですが、リージョン選定時に東京リージョンの方がサービス数が多いという理由で、東京リージョンが選ばれることが少なくないそうです。
実際のところ大阪リージョンで利用可能なのが**127**サービスな
AWS DeepRacerに初挑戦しました！
## はじめに
新人研修にてAWS DeepRacer研修が行われました。DeepRacerとは、Amazonが提供するクラウドサービスAWS上で作成した強化学習のモデルを使用し、シミュレータやレーシングカーを使用してレースを行うサービスです。
二日間に亘って研修が行われ、今回の研修で初めて、DeepRacerを体験して強化学習に触れることができました。
## 概要
AWS DeepRacer研修では、３種類のコースがレース会場に用意されていました。仮想環境でそれぞれのコースに適応するための学習を行い、シミュレーションを繰り返すことでよりよいモデルを構築していきます。
コースを速く、安定的に走行させるためにどのようなパラメータ設定が適切か、学習させるコースについても様々な特徴を持つコースから検討を行います。
その後、実環境での走行練習を
タグベースによるEC2インスタンスの夜間停止によるコスト削減
# 背景
このAWS Lambda関数は、タグ値で制御してEC2インスタンスの起動や停止を行うことができます。EventBridgeを使用した夜間の定期停止や、AWS Change Calendarを利用した不定期な長期停止など、様々なシナリオで活用できる汎用的なEC2インスタンス管理ツールです。Spotインスタンスの停止ができるようになったので、さらなるコスト削減のために作りました。
## 実行環境
### エンジン
Python3.12
### 環境
Lambda## 関数の概要
この関数は以下の構造のJSONペイロードを受け取ります：
“`json
{
“region”: string, # 対象リージョン
“tagName”: string, # 対象EC2インスタンスのタグ名
“action”: string, # start（起動）またはstop（停止）
“test”: bool # テストモード（true/false）
}
“`### 機能
1. 指定された`tagName`の値が`action`または”true”であ
ついにClaude 3.5 SonnetがAWS東京リージョンのBedrockで利用可能に 🎉
# ついに最新のClaudeが東京リージョンに来た！
Amazon Bedrockの生成AIモデルの一つ「Claude」シリーズの最新バージョンが、AWS東京リージョンで提供開始されました 🎉
:::note warn
まだAWS公式のニュースリリースやドキュメントの更新は出ていません。
:::先月のAWS Summit Japanで7月のローンチが予告されて以来、首を長くして待っていた方も多いのではないでしょうか。無事に7月37日に来ましたね！
上記アナウンスではClaude 3という言及のみでしたが、実際には以下のモデルが利用可能となりました。
– Claude 3.5 Sonnet
– Claude 3 Haikuなお、リージョン拡張の際はA
祝🎉東京リージョンにClaude3ファミリーが登場！早速バージニア北部と対決させてみた！
## はじめに
AWS Summit Tokyoでアナウンスのあった通り、東京リージョンにAnthropicのClaude３ファミリーの“Haiku“と“3.5 Sonnet“が登場しました！！
当初7月予定とアナウンスされていましたが、予定通りにいかないのが世の常。
そんな中、7月リリースを信じ続けたBedrockerもこれで漸く8月を迎えることができます。。。https://x.com/he
東京リージョンのBedrockにClaude 3がやっと来た！？宇宙最速で検知して確認してみた
# はじめに
日本時間2024年7月37日[^1]5時14分頃、Amazon Bedrockの東京リージョンに、Anthropic社の主力モデルClaude 3シリーズが**一瞬だけ**登場しました！
5時30分現在では表示されたり消えたりを繰り返していますが、今日中には使えることになるのが期待できそうです。
*【5時38分追記】どうやら安定して表示されるようになりました！やったね。*
*【6時58分追記】検知が早すぎてドン引きされたのか、また隠れてしまいました。*
*【7時59分追記】未だコンソールでは表示されたり隠れたりを繰り返していますが、オレゴンとフランクフルトでも3.5 Sonnetを確認できました！*
*【8時41分追記】どうやらいずれのリージョンも安定して利用可能になったようです！What’s Newなど公式リリースが出ていないので安心はできませんが…*
全日本国民が待ち望んでいた！？このアップデートを速攻で察知し、確認してみました。
# 東京リージョンにおけるBedrockの歴史
## Bedrock GAからほどなく東京リージョンにも対応！
Ama
【Fargate／ALB】keycloakとALB認証でWebアプリケーションを保護
# やること
– https://qiita.com/yuta0003/items/c945fd89578b9f64bf2d
にて作成したkeycloakをALB認証に使ってみる
– ALB認証(OIDC)によって、後段のサーバに渡すヘッダをのぞいてみる
– AWS公式リファレンスに記載されている前提事項は以下の通り。
# 本記事で作成するリソース
# keycloakのOpenID Endpointを控えておく
 を活用して、HTTPS通信でセキュリティを強化しつつ静的ウェブサイトを公開する方法を説明します。
## S3で静的ファイルをホスティングする際のリスク
Amazon S3で静的ホスティングする際によくある構成として、S3バケットのブロックパブリックアクセス設定を無効にしてコンテンツにパブリックアクセスさせるというのがあると思います。
しかし、パブリックアクセスの許可にはいくつかリスクがあります。
主には以下です(1)
データ漏洩のリスク:
パブリックアクセスが許可されているバケットやオブジェクトは、インターネット上の誰でもアクセス可能になるため、機密情報が漏洩するリスクが高まります。不正アクセスのリ
【AWS】起動テンプレートとBatch Compute環境を同時に書くと、起動テンプレートが3つ生成される
# 概要
以前作成したAWS BatchのAutoscalingGroup設定を確認すると「起動設定」になっていました。
今回、これを起動テンプレートにしたところなぜか3つも自動作成されました…色々試したので、記事にします。# 前提・Cfnテンプレート
まず、AWS BatchをCloudformationで作成すると、EC2を起動するためにAutoscalingGroupが作成されることを確認しました。なので、そのAutoscalingの設定を起動テンプレートにしてあげればよいのでは？と思い、以下のようにしました。
`BatchComputeEnvironment`に`LaunchTemplate`を加えています。
（セキュリティグループやサブネットなどは省いています）“`yaml
BatchServiceRole:
Type: ‘AWS::IAM::Role’
Properties:
AssumeRolePolicyDocument:
Version: ‘2012-10-17’
Statement:
画像変換エンジンを構築して画像配信システムを運用にのせた話
# 概略
簡潔に説明すると、以下のメルカリの事例のような画像配信の仕組みを運用に載せました。
https://imageflux.sakura.ad.jp/case-study/mercari/
画像変換基盤は自前で構築しました。
サービスインを社内でアナウンスしてもあまりにも反応が少なかったので、供養のためにQiitaにのせときます。
どこかのサービスの運用コストが下がる、もしくは技術的課題の解決につながればよいです。
# どんなプロダクト？
サービス自身には 中央値が 2.5k rpsくらい。直近５日くらいの最大が 5k rps くらい、
画像のCDNに対しては中央値が 4k rps くらい。直近５日くらいの最大が 8k rps くらい
の規模感のサービスです。クローラからもそれなりにリクエストくるのでそれなりのサービスです。
日系のサービスだったらそこそこのサービスだと思っています。# 基盤を構築する背景
当該のサービスは１０年以上運用されているのでストレージにためられた画像のデータ量がペタ（単位）を超えてます。
同じ画像で画像サイズだけが異なっているも
failure-analysis-assistant (FA2) で AIops を実現する
# FA2
https://aws.amazon.com/jp/blogs/news/failure-analysis-assistant-aiops/
https://github.com/aws-samples/failure-analysis-assistant
– AI/ML を活用した障害分析の効率化を行います
– 従来の手動分析の課題を克服するために、LLM を使用して、ログやトレースなどのテレメトリデータを分析し、迅速な障害特定と原因究明を実現します# Slack App 版と Chatbot Custom Action 版
– Failure Analysis Assistant (FA2) Slack App 版
https://github.com/aws-samples/failure-analysis-assistant/blob/main/README.md#failure-analysis-assistant-fa2
– Failure Analysis Assistant (FA2) AWS Chatbot Custom Action 版
Knowledge bases for Amazon Bedrockのチャンキング戦略を確認する
ナレッジベースのチャンキング戦略がいろいろ増えたので動きを確認していきます。
日本語文書では微妙だったので、英語のエルマーの冒険をS3に格納してチャンキングしていきます。
# デフォルトチャンキング
ナレッジベースを同期後、OpenSearchのダッシュボードのDev Toolsで内容を確認してみます。
“`
“_source”: {
Dify の公開アプリ・埋め込みチャットを Amazon Cognito 認証でセキュアにする (IaC コード付き)
## TL;DR
* **課題:** Dify の公開アプリ・ウェブページへの埋め込みチャット機能は非常に強力だが、公開範囲については All or Nothing の公開設定しかできず、たとえば自社の社員のみにアプリを公開するような制御は実現できない
* **解決策:** 以下 GitHub リポジトリの CDK コードのように ALB + Cognito を利用することで、認証されたユーザにのみ利用させるような制御を実装することができるhttps://github.com/mabuchs/dify-on-aws-cdk-with-cognito
※ デプロイの前提として、Route53 のホストゾーンが必要です (HTTPS リスナーが必要なため)。
※ Dify 0.6.15 でのみ動作確認済みです。今後の Dify のアップデート次第で動かなくなりうることにご注意ください。**動作イメージ**
「Amazon S3 マルチリージョンアクセスポイント(MRAP)」のアクセス制御
# 1. はじめに
– 先日の記事[「【ハンズオン】「Amazon S3 マルチリージョンアクセスポイント(MRAP)の使用を開始する」をやってみる」](https://qiita.com/mksamba/items/06eed774ea045179d322)にて、MRAPの基本的な使い方（設定方法、レプリケーションなど）を確認した。
– 本記事では、MRAPへのアクセス制御の方針について、自分が運用しているシステムの場合のユースケースに基づき、何パターンかの設定方法の検証を行う。（MRAPへのアクセス制御の方法は、通常のS3バケットへのアクセス制御をするのと基本的には同じだが、MRAPがある場合、S3バケットとは別にMRAP自体にもアクセスポリシーが設定可能であり、やや複雑でよく分からないため）# 2. 構成図／接続要件
– 今回は
【AWS EC2 + Flask + Docker + SQLite】AWS EC2上にFlaskプロジェクトをデプロイする方法
# はじめに
本記事ではAWS EC2上にFlaskプロジェクトをデプロイする方法を解説します。基本的にはコピペで作業が完了するよう解説していきますので、とりあえずデプロイを体験してみたいという方は参考にしてください。# 目次
1. [完成図](#完成図)
2. [Webサーバの作成](#webサーバの作成)
2. [ElasticIPの割り当て](#elasticipの割り当て)
2. [DBサーバの作成](#dbサーバの作成)
2. [Webサーバの設定](#webサーバの設定)
3. [参考文献](#)# 完成図
Flaskプロジェクトをデプロイするための最小構成で構築予定です
サーバを立ち上げてそこにFlaskプロジェクトをデプロイします# Webサーバの作成
### Webサーバとは
インターネットからリクエス
AWS Python 処理結果を S3 経由で Redshift にコピー
## はじめに
統計解析や複雑な処理を施した結果をデータベースに取り込み、それを Yellowfin などの BI ツールで可視化したい要件も多々発生します。例えば、[こちら](https://qiita.com/ExtremeCarvFJ/items/cc5a0cc62cd4c149a644)の記事にあるベイズ推定を用いた計算などは、事前に Python を用いてプログラム処理しておく必要があります。本記事では、AWS EC2 上で Python 処理した結果を、 CSV ファイルに出力し、CSV ファイルの内容を S3 経由で Redshift のテーブルにコピーする一連の処理の流れを紹介したいと思います。
主な流れは以下の通りです。
1. Python 処理結果を CSV 出力 (EC2 上)
2. CSV ファイルを S3 に転送
3. S3 から Redshiftテーブルにデータコピー特にデータ量が大きい場合、1 行ずつデータを Insert する処理は現実的ではないため、ファイルからテーブルにデータをコピーする処理は必須となります。
## 環境準備と前提
Pyt
結局 QuickSightでグラフを表示する際に、SPICEとAthenaどっちが安く表示できるのか問題について
初めまして、メグです。
今回はタイトルにもある通り、SPICEとAthenaでのDirectQueryのどちらが安く収まるかについて記載していきます。
## 各サービスの料金体系について
### SPICE
SPICEはQuickSightのインメモリです。
料金体系は、保存しているデータ量に応じて毎月課金が発生します。【金額】
例)
10GBのデータを格納している場合の金額“` math
\begin{align}
10(GB) \times 0.38(USD/GB) = 3.8(USD)
\end{align}
“`### Athena(SQLクエリ)
Athneaの課金額は、クエリを叩いた際にスキャンされるデータ量に応じて課金額が決まります。そのためデータ量の大きいテーブルに対して何度もクエリを叩いていると、そ
AWS Config マネージドルールを使ったリソースの設定管理
# AWS Config マネージドルールを使ったリソースの設定管理
本記事では、AWS Configを使用する際に必要な設定内容と、マネージドルールを利用する際によく使用されそうなルールの一覧と説明について記載しています。## 1. AWS Configとは
### 1.1 AWS Configの概要
AWS Config(以下Config)は、サポートしているAWSリソースに対して設定変更の記録を行うサービスである。
設定に対して問題がないかを確認し、メール通知や修正対応をすることができる。
ConfigがサポートするAWSリソースの詳細は、[AWS Configデベロッパーガイド-サポートされているリソースタイプ](https://docs.aws.amazon.com/ja_jp/config/latest/developerguide/resource-config-reference.html)を参照。### 1.2 ルール
Configルールとは、AWSリソースが一般的なベストプラクティスに準拠しているかどうかを評価する機能である。
リソースの設定に変更があった際
