- 1. 全てのS3バケットのアクセス設定を確認する方法
- 2. 【開催期間訂正】ANGEL Calendarを開催します！
- 3. GPT-4oファインチューニングモデルの追加：最新情報と成功事例の紹介
- 4. streamlitのLLMアプリをEC2+ALB+Route53で公開する方法
- 5. 【備忘】Codepipelineについて調べてみた
- 6. 【アップデート】AWS Backup は、EC2 上の SAP HANA のクロスリージョンおよびクロスアカウント バックアップをサポートしました
- 7. 【アップデート】新しいDirect Connectロケーションがクアラルンプールに開設されました
- 8. AWS RDSの（クラスタ）パラメータグループの差分移行
- 9. RDS Blue/Green Deploymentを徹底的に研究
- 10. AWS BuilderCards プレイ会をしました！
- 11. AWS で利用可能な Amazon の提供する IPv6 の料金について
- 12. 【AWS】EC2内部でIPアドレスを変更するソフトウェアへの対応方法
- 13. Amazon Bedrock のバッチ推論が GA したので試してみた
- 14. 【備忘録】Amazon FSx for Windows File Serverを触ってみた
- 15. App RunnerのVPCコネクタを使ってRDSへ接続してみた
- 16. EC2へのアクセス元IPを特定する方法
- 17. CloudWatch Logsでフィルタを用いて特定ログを検出してみた
- 18. Amazon Bedrockの新機能「Prompt Flows」Conditionノードの使用例の実行
- 19. 【AWS-SAA勉強記】第5回_Amazon CloudFront、Global Accelerator編
- 20. Getting started with Amazon Q Developer – Part 1、2の要約
全てのS3バケットのアクセス設定を確認する方法
# 概要
複数のS3バケットがどのようなアクセス設定になっているか確認する為の`Shell Script`を作成しました。備忘録も兼ねて、そのコードと出力方法を記載します。# 手順
1． どのディレクトリでも良いので`sh`のファイルを作成する
“`sh
touch check_s3_access_settings.sh
“`2． 下記のコードを`check_s3_access_settings.sh`に記載する
“`check_s3_access_settings.sh
#!/bin/bash# 出力ファイル名
output_file=”check_s3_access_settings.csv”# CSVファイルのヘッダーを作成
echo “Bucket Name,Policy Status,ACL Status” > $output_file# 全てのバケットのリスト一覧を取得
buckets=$(aws s3api list-buckets –query “Buckets[].Name” –output text)for bucket in $b
【開催期間訂正】ANGEL Calendarを開催します！
# はじめに
この度、ANGEL Calendarの企画に参加しております！
記事一覧は下記のOrganizationアカウントの一覧をチェックしてみてください！
[2024-ANGEL-Dojo Organization](https://qiita.com/organizations/2024-angel-dojo)# ANGEL Calendar運営からのお知らせ
こんちには！ANGEL Calendar企画運営メンバーのはらしまです！
[前回の記事](https://qiita.com/har1101/items/637ba82948aa7670fb9f)でふくちさんから下記の記事で紹介いただいたANGEL Calendarですが、開催期間が変更となりましたので訂正させていただきます。:::note info
**【修正前】08/20(火)~09/20(金)**
**【修正後】09/01(火)~09/30(月)**
:::# 注目ポイント
せっかくなので簡単にANGEL Calendarの魅力を2つお伝えします！！### 様々な企業の方が参加！
今回の企画では、
GPT-4oファインチューニングモデルの追加：最新情報と成功事例の紹介
## 1. はじめに
皆さんおはようございます♪詳しくは [https://note.com/kii_genai/n/nf5767cd49c1e](https://note.com/kii_genai/n/nf5767cd49c1e)もご覧くださいね♪
2024年8月に新たに登場したGPT-4oファインチューニングモデルは、OpenAIの技術にさらなる柔軟性と適応力を提供しています。これにより、ユーザーは自身の特定のニーズに合わせたモデルを簡単にカスタマイズでき、ドメイン特化型のAIシステムを構築することが可能になりました。特に、GPT-4oは、従来のファインチューニングに比べて高い精度を誇り、開発者にとっては特定のユースケースに最適化されたモデルを迅速に作成できるツールとなっています。
本記事では、GPT-4oのファインチューニングモデルに関する最新情報を深く掘り下げ、その特徴、料金体系、成功事例、ファインチューニングの具体的な手順などを詳しく解説します。
次の章では、まずGPT-4oのファインチューニングモデルが持つ具体的な特徴について詳しく見ていきます。
## 2.
streamlitのLLMアプリをEC2+ALB+Route53で公開する方法
ChatGPTやClaudeのWebサイトは[React](https://ja.react.dev/)で作られているが、そこまでしたくなくサクッと作って、サクッと公開したいとき、[streamlit](https://streamlit.io/)は非常に楽。
ただ、streamlitは静的ビルドができず、S3+CloudFrontでは公開できない。今回は、プライベートVPC内のEC2+ALBで公開する方法を紹介する。
※パブリックVPC内であれば、EC2+Elastic IPだけでも公開できます。## Streamlitの簡易LLMアプリケーション作成
streamlitのインストール
“`
pip3 install streamlit
“`下記にAmazon BedrockのClaude3のWebアプリを立ち上げるstreamlitのプログラムを載せる。
:::note warn
BedrockのClaudeを使用するには、Bedrockのコンソール画面->モデルアクセスからモデルアクセスをリクエストする必要がある。
::::::note warn
下記コマ
【備忘】Codepipelineについて調べてみた
# はじめに
業務の中で CodePipeline に触れる機会ができたので**活動記録** 兼 **備忘**として記事を残すことにしました。
# 前提
AWSについての私の知識量は、Cloud Practitioner 合格に向けて勉強中！のレベルです。
業務で AWS には触れますが仕組みや各サービスの内容について詳しく理解できていません。https://aws.amazon.com/jp/certification/certified-cloud-practitioner/
# CodePipelineってなに
前提にもあるとおり私は AWS の各サービスの内容について理解が浅いです。
Codepipeline と聞いた時に「なにそれ？」となったので調べて自分なりに解釈しました。https://docs.aws.amazon.com/codepipeline/latest/userguide/welcome.html
AWS CodePipeline は、コードの作成からデプロイまでのプロセスを自動化し、短時間で確実に、そして効率的にソフトウェアをリリースでき
【アップデート】AWS Backup は、EC2 上の SAP HANA のクロスリージョンおよびクロスアカウント バックアップをサポートしました
こんばんは、Koderaです。
AWS BackupがEC2 上の SAP HANA のクロスリージョンおよびクロスアカウント バックアップをサポートしました。
https://aws.amazon.com/about-aws/whats-new/2024/08/aws-backup-cross-region-cross-account-copy-sap-hana-ec2/## アップデート内容
AWS BackupがEC2 上の SAP HANAクロスリージョンおよびクロスアカウント バックアップをサポートしました。
ドキュメントヒストリーも20日日付で更新されていますね。
Organizations内でリージョンを超えたコピーおよびAWSアカウントを越えてスナップショット バックアップをコピーできるようになりました。
##
【アップデート】新しいDirect Connectロケーションがクアラルンプールに開設されました
こんばんは。Koderaです。
新しいDirect Connectロケーションがクアラルンプールに開設されました。
https://aws.amazon.com/about-aws/whats-new/2024/08/aws-direct-connect-location-expansion-malaysia/## Direct Connect ロケーションとは
Direct Connectは、AWSとユーザーとの間に専用のネットワークを提供するサービスのことです。オフィスやシステムが稼働するデータセンターからインターネットを介さずにAWSと接続することができます。インターネット経由ではないので、セキュアかつ回線状況の影響を受けずに、安定した通信ができます。AWS Direct Connect ロケーションとは、対応するリージョンでの AWS へのアクセスの中継地となるものです。 パブリックリージョン または AWS GovCloud (US) の単一の接続を使用して、他のすべてのパブリックリージョンのパブリック AWS のサービスにアクセスすることができます。
## アッ
AWS RDSの（クラスタ）パラメータグループの差分移行
# 最初に謝辞
この記事の内容は[サーバーワークスさんの記事](https://blog.serverworks.co.jp/aws-cli/parameter-group-migration)と同等です。
アレンジした部分はありますが、やってることの本質はまるで変わってないです。
動作原理とかの細かい説明はそちらをご覧ください。> どなたかのお役に立てれば幸いです。
お役に立ちまくりましたありがとうございます。
# デフォルトDBパラメータグループ
元記事では仮のDBグループを作ってから表示させていましたが、DBエンジン名の前に `default.` を付ければ使用したことがなくても表示させることができます。DBエンジン名の一覧を出してー
“`bash
aws rds describe-db-engine-versions \
–query “DBEngineVersions[].DBParameterGroupFamily” \
–output text | uniq
“`DBエンジン名の前に `default.` を付けて中身の表示
“`bash
RDS Blue/Green Deploymentを徹底的に研究
# 1. そもそもBlue/Green Deploymentとは
`Blue/Green Deployment`は新しい概念でも Aurora 専用の手法でもありません。
これは、アプリケーションの新バージョンをリリースする際に広く使用される一般的なデプロイメント戦略です。
最近はインフラエンジニアにとってはもはや当たり前になってきました。**アプリケーションレイヤーでのBlue/Green Deploymentに関する特徴**
– 2つの同様の環境を用意
– Blue環境: 現行の本番環境
– Green環境: 新バージョンをデプロイする環境
– Green環境に新バージョンをデプロイし、テストを実施
– デフォルトはトラフィックが直ちに徐々にBlueからGreenに切り替える設定ですが、待機時間(待機期間でテストを実施)を設定することも可能
– トラフィックを徐々にBlueからGreenに切り替え
– 問
AWS BuilderCards プレイ会をしました！
## AWS BuilderCards
AWS Builder Cardsをご存知ですか？
AWSサービスのカードを使って遊ぶカードゲームで、AWSのサービスやアーキテクチャについて楽しく学べることができます。https://aws.amazon.com/jp/builders-flash/202405/japanese-builder-cards/
BuilderCardsは現在一般販売されていませんが、全国の JAWS-UGでゲーム体験イベントを開催しています。気になる方はぜひ参加してみてください！
今回はAWS関連イベントの景品として部内メンバーがBuilderCardsを入手することができたので、さっそくプレイ会を開催してみました。
## プレイの準備
プレイ時に必要なカードマットとガイドの日本語版が公開されているので、印刷しておくとスムーズにプレイすることができます。
https://github.com/jaws-ug/AWS-BuilderCards-Japanese
カードマットの印刷は少し工夫が必要です。
– MarketPlaceマット → A3印
AWS で利用可能な Amazon の提供する IPv6 の料金について
# 疑問
AWS の VPC では Amazon の提供する IPv6 プールを利用することができる。
IPv4 については 1EIP あたり $0.005 / hour となっているが、IPv6 の料金についてはドキュメント上でその料金が無料であることを確認できなかった。おそらく無料だとは思うが、このことはどこに記載されているのだろうか？
# 暫定回答
公式ドキュメントが見つかればそちらを記載する。
– 自身の AWS アカウントで VPC に Amazon の提供する IPv6 を割り当てたが課金されなかったためおそらく無料
– [AWS re:post での回答](https://repost.aws/questions/QUCO6dPYWdS_C5KRGq0L4oow/does-aws-charge-for-ipv6-address) で AWS ブログ内に無料である旨 (no additional charge) が記載されている> IPv6-only subnets and EC2 instances are available in all AWS co
【AWS】EC2内部でIPアドレスを変更するソフトウェアへの対応方法
# はじめに
現場で、オンプレの**内部でIPアドレスを変更する仕組みを持つメールサーバ**をAWSのEC2に移行する際、大きな問題点がありましたので解決策とともに紹介します。# 対象読者
– AWSを使用する現場に従事している方
– AWSの資格勉強をしている方
– AWSに興味がある方# 1. 問題点
### **AWSでは内部でのIPアドレス変更に対応できない**
内部でプライベートIPアドレスを変更した場合でも、AWS側のネットワークインターフェースのIPアドレスは変わらないのでインスタンス同士が通信できなくなります。今回の現場では、複数のEC2インスタンスでクラスターを作り、ソフトウェアのIPアドレス変更で障害時に自動でフォールバックするようなシステムにて問題が起きました。
# 2. 解決策
### **CloudWatchとLambdaを使用して対応**
AWSでは内部でのIPアドレス変更を検知できないので、内部ソフトウェアのトリガーとなるものをAWS側(CloudWatch)で監視し、Lambdaを使ってIPアドレスを付け替える必要がありました
Amazon Bedrock のバッチ推論が GA したので試してみた
Amazon Bedrock のバッチ推論が GA したので早速試してみました。バッチ推論だと 50% の料金なのは嬉しいです。
https://aws.amazon.com/jp/about-aws/whats-new/2024/08/amazon-bedrock-fms-batch-inference-50-price/
利用できるモデルの一覧はこちら。
https://docs.aws.amazon.com/bedrock/latest/userguide/batch-inference-supported.html
クォータはこちら。
https://docs.aws.amazon.com/bedrock/latest/userguide/quotas.html
## バッチ推論
以下の検証では Amazon Bedrock への権限が付与された SageMaker Notebook で行っております。
最新の Boto3 を利用します。
“`bash
!pip install -qU boto3
“`必要なクライアントを作成します。
“`pyth
【備忘録】Amazon FSx for Windows File Serverを触ってみた
## はじめに
今後FSx for Windows File Serverを触るかもしれないということで、フライングしてハンズオンしてみました。
誰かの助けになればと思い、備忘録として残します。
こちらのページを参考にハンズオンをしていきます。https://docs.aws.amazon.com/ja_jp/fsx/latest/WindowsGuide/getting-started.html
## FSx for Windows File Serverの設定
### Step0 事前準備
今回作業用のVPCを作成します。
パブリックサブネットとプライベートサブネットを2つずつ、NATゲートウェイやエンドポイントは不要です。
次のStepから公式ドキュメントを参考にFSxを使用するための前提条件を満たしていきます。https://docs.aws.amazon.com/ja_jp/fsx/latest/WindowsGuide/walkthrough01-prereqs.html
### Step1 Active Directoryのセットアップ
まずはActive D
App RunnerのVPCコネクタを使ってRDSへ接続してみた
# はじめに
こんにちは。[前回記事](https://qiita.com/duora0406/items/be56724d963784fbe59e)では、「とりあえずApp Runnerを動かしてみる。」というところに焦点を当てて紹介しました。確かにApp Runnerはとても便利なサービスではあるのですが、もしも、App Runnerを実サービスで利用する場合、下記の部分が気になるのではないでしょうか。* App RunnerからDBに通信することはできるの？
* App Runnerって接続制御はできるの？
* App Runnerでログってとれるの？今回は、App RunnerからVPC内に作成したDBへ接続する構成を構築してみます。App Runnerを利用している方の参考になれば幸いです。
# VPCコネクタについて
App Runner側で作られたVPCはAWSコンソールで見えないので、App Runnerが作ったVPCにRDSやサブネットなどNWのリソースを作ることはできません。そんなときに利用するのが、VPCコネクタになります。詳細は、[アップデート
EC2へのアクセス元IPを特定する方法
最近、EC2のAuto Scalingグループがスケールアップした際に、ALB（Application Load Balancer）のリクエスト数が急に増えましたが、IPアドレスからリクエストが来ているのかが分からなかったのでメモ程度に残します。
**方法:**
1. **ELBのアクセスログを確認する:**
最初に試すべきは、ALB（Application Load Balancer） のアクセスログを確認することです。このログには、どのIPアドレスからリクエストが送られてきたかが記録されています。ログは、AWSコンソールやCLIから取得できます。この方法で、リクエスト元のIPアドレスを簡単に特定できます。
ALBのアクセスログはS3に保存されています。※以下からは確認できないので注意
Auto Scalingログ
Auto Scalingログは、イベントやアクティビティを記録するためのものであり、リクエスト元のIPアドレスを含みません。したがって、リクエスト元IPを特定するためには、Auto Scalingログを使用することはできません。
CloudWatch Logsでフィルタを用いて特定ログを検出してみた
## CloudWatch Logs とは
CloudWatch Logs は、EC2 インスタンスや Lambda function などのログを管理し、検索できる便利なサービスです。今回は、特定のログ情報をフィルタする方法について紹介します。
CloudWatch Logsでフィルターパターンで正規表現を用いることができるのですが、苦戦したので参考にしていただけば幸いです。### 前提条件
– 対象とするLog groupが存在する### 1.フィルタの作成
CloudWatch Logs のコンソールにログインします。
左側のナビゲーションペインで、[Log groups] を選択します。
対象とする log group を選択し、「フィルタイベント」をクリックします。### 2. フィルタパターンの作り方
フィルタパターンを作成する際には、「応答時間が1秒以上かかったリクエスト」や「エラーメッセージ」などの特定の条件を抽出することができます。
パターンは、 { $.duration > 1.00 } や { $.errorMessage != null} のように
Amazon Bedrockの新機能「Prompt Flows」Conditionノードの使用例の実行
# はじめに
今回はAmazon Bedrockの新機能「Prompt Flows」のConditionノードを使って、入力されたテキストが日本語であればその要約を出力し、それ以外の言語であれば日本語に翻訳し、その要約を関西弁で出力するアプリケーションの例を実行してみました。「Prompt Flows」は、ノードを配置して生成AIのワークフローを開発・管理できるサービスです。
https://aws.amazon.com/jp/bedrock/prompt-flows/
今回アプリケーションの作成にあたって、以下のサイトを参考にしました。
# 導入
アプリケーションの全体像は以下の通りです。
アプリケーショ
【AWS-SAA勉強記】第5回_Amazon CloudFront、Global Accelerator編
この記事は作者本人がAWS-SAAの学習を通じて、曖昧や覚えづらい部分をサービス単位でまとめたものです。
特に、概要だけではイメージがわきづらいので、できるだけユースケースを活用して理解しやすいようにしています。
教材はSHOEISHAの[AWS教科書 AWS認定ソリューションアーキテクトアソシエイト テキスト＆問題集](https://www.amazon.co.jp/AWS%E6%95%99%E7%A7%91%E6%9B%B8-AWS%E8%AA%8D%E5%AE%9A%E3%82%BD%E3%83%AA%E3%83%A5%E3%83%BC%E3%82%B7%E3%83%A7%E3%83%B3%E3%82%A2%E3%83%BC%E3%82%AD%E3%83%86%E3%82%AF%E3%83%88%E3%82%A2%E3%82%BD%E3%82%B7%E3%82%A8%E3%82%A4%E3%83%88-%E3%83%86%E3%82%AD%E3%82%B9%E3%83%88%EF%BC%86%E5%95%8F%E9%A1%8C%E9%9B%86-%E7%85%A4%E7%94%
Getting started with Amazon Q Developer – Part 1、2の要約
このツールは、開発者がコードを作成したり、既存のコードを修正したり、トラブルシューティングを行う際に役立ちます。
## Q Developerでできること
Q Developerは、コードの作成、修正、トラブルシューティングの3つの主要な機能を提供します。
### 1. コードの作成と修正
* 新しい機能を追加したり、既存のコードを改善したりすることができます。
* 例えば、ウォレットアプリケーションに新しい機能を追加したい場合、Q Developerにコメントで指示すると、それに対応するコードを提案してくれます。
* 提案されたコードはそのまま受け入れることも、修正することもできます。### 2. トラブルシューティング
* コードのエラー原因を特定し、解決策を提案してくれます。
* 例えば、Lambda関数でエラーが発生した場合、Q Developerにエラーメッセージを提示すると、原因を特定し、解決策を提案してくれます。### 3. アーキテクチャのアイデア出し
* アプリケーションのアーキテクチャを設計する際に、Q Developerは様々なアイデアを提案し
