- 1. なぜデータベース・オブジェクトの管理が重要なのか?
- 2. AWSコンテナ環境の監視を強化する方法:CloudWatch、アプリケーションシグナル、コンテナインサイトを活用しよう!
- 3. Application SignalsでECSで動かしているMetabaseのサービスマップを作成する
- 4. CloudFormationを使ってLambdaとSQSを作成しよう!
- 5. AWSのAuroraPostgreSQLで遅いSQLを調査する方法
- 6. AWS Certified AI Practitioner (AIF-C01)勉強
- 7. Cognitoのログイン属性を知らないようじゃ無理か。ログイン属性はね、知っとかないと。
- 8. AWS RDSインスタンスの自動起動・停止設定
- 9. 【OCI クラウド移行ガイド】 AWS Lambda を OCI Functionsへ移行してみた(その3:OCIからAWSサービスを扱う編)
- 10. GitHub Actionsを使ってS3内のファイルを自動的に更新しよう!
- 11. 2024 AWS Summit Japan参加レポート
- 12. インターネットG/W経由のEC2とS3間の通信がインターネットを経由するかどうか
- 13. とりあえずBedrockを個人利用としてLambdaで実行するまで
- 14. MLflow LLM Evaluate:Amazon Bedrock / Claude 3.5 Sonnet で LLM-as-a-Judge による LLM の評価
- 15. 【アップデート】CloudFormationでIaC ジェネレーターでのリソース検出とテンプレートレビューの機能が強化されました
- 16. データベースのパフォーマンスチューニングについてまとめてみました。
- 17. Aurora Serverles V2の選定ポイント、大規模コスト削減事例
- 18. 【AWS】utf8mb4で「????」が表示された時はskip-character-set-client-handshakeも確認する
- 19. 【初心者向け】Amazon FSx for NetApp ONTAPとは
- 20. AWS BatchのMulti Containerを試してみた
なぜデータベース・オブジェクトの管理が重要なのか?
## はじめに
データベース・オブジェクトの管理は、データベースのパフォーマンス、整合性、セキュリティを維持するために重要です。表、索引、ビュー、トリガー、ストアドプロシージャなどのデータベース・オブジェクトを適切に管理することで、効率的で信頼性の高いデータベースシステムを構築することができます。定期的なメンテナンスと最適化を行い、データベースのパフォーマンスを最大限に引き出すことができます。今回は、なぜデータベース・オブジェクトの管理が重要なのか?整理してみました。
### なぜデータベース・オブジェクトの管理が重要なのか?
**データの整合性**
オブジェクトの構造やデータの整合性を保ち、データの信頼性を確保する必要があるから。
**パフォーマンス向上**
適切な索引を作成することで、クエリの実行時間を大幅に改善できるから。
**データのセキュリティ**
アクセス権限の設定や、不要なオブジェクトの削除により、データのセキュリティを確保する必要があるから。
**ストレージの効率化**
不要なオブジェクトを削除したり、パーティショニングを適用することで、ストレージ容量を
AWSコンテナ環境の監視を強化する方法:CloudWatch、アプリケーションシグナル、コンテナインサイトを活用しよう!
## はじめに
AWSでコンテナ環境を利用しているあなたへ!
「コンテナ環境の監視って、どうすればいいの?」
「問題発生時に、迅速に原因を突き止めたいんだけど…」
そんな悩みをお持ちではないでしょうか?
この記事では、AWSのコンテナ環境をより効果的に監視し、問題解決を迅速化する方法をご紹介します。**AWSのマネージドコンテナサービス**
AWSでは、EKS(Amazon Elastic Kubernetes Service)やECS(Amazon Elastic Container Service)、サーバーレスオプションのFargate、コンテナイメージレジストリなど、様々なマネージドコンテナサービスを提供しています。これらのサービスを利用することで、コンテナ環境の構築と運用を効率化できます。
**AWS CloudWatch:コンテナ環境の監視に最適なツール**
AWS CloudWatchは、120以上のAWSサービスと統合可能な監視サービスです。コンテナ環境の監視にも最適で、インフラ、システム、アプリケーションの健全性を可視化し、様々なデータセットを関連付けるこ
Application SignalsでECSで動かしているMetabaseのサービスマップを作成する
# TL;DR
Application Signals で Metabase のサービスマップを作成してみました。![スクリーンショット 2024-08-26 21.59.54.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/63855/08281008-b5cb-133b-2b76-899a480aec3e.png)
# Amazon CloudWatch Application Signalsとは
CloudWatch Application Signalsを使用するとアプリケーションの状態やメトリクスやトレースが自動で収集され、呼び出し量、可用性、エラーなどの指標をサービスマップなどの形で可視化することができます。
今まで似たサービスに AWS X-Ray がありましたが、SDK をアプリケーションコードに実装する必要があり、ハードルが高かったです。
Amazon CloudWatch Application Signalsを使用することでアプリケーションコードに手を加えることなく、導入する
CloudFormationを使ってLambdaとSQSを作成しよう!
## 概要
CloudFormationを使って非同期処理でよく使用するLambdaとSQSを作成する方法について解説していきます## 実装
– Lambdaを格納するS3
– SQS
– SQSのメッセージをトリガーに実行するLambdaの3種類のリソースをCloudFormationで作成します
## Lambdaを格納するS3
Lambdaを格納するS3を作成していきます
バケット内のオブジェクトは非公開にします“`yaml
AWSTemplateFormatVersion: 2010-09-09
Description: “S3 Bucket For Lambda”# ————————————-
# Metadata
# ————————————-
Metadata:
AWS::CloudFormation::Interface:
# パラメータの並び順
ParameterGroups:
– Label:
def
AWSのAuroraPostgreSQLで遅いSQLを調査する方法
## 作業リスト
1. SQLの実行ログを出力するように設定変更
1. ログから指定した処理時間以上のログを抽出## 作業内容
### 1. SQLの実行ログを出力するように設定変更
PostgreSQLのパラメータグループで以下の設定を変更します。
今回は、CloudWatchの方で処理時間を指定するのですが、処理時間が300ms未満を除外しておきたいので`300`を指定します。
これで、300ms以上かかるSQLと処理時間がログに出力されます。
※処理時間に関わらず全て出力したい場合は`0`を指定します。|項目名|設定値|備考|
|–|–|–|
|log_min_duration_statement|300|SQL実行にかかったミリ秒を指定|#### (参考)マネジメントコンソールの画面
RDSのパラメータグループの設定から、AuroraのClusterで利用する設定値を以下の通り変更![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/284278/de180f
AWS Certified AI Practitioner (AIF-C01)勉強
## ベータ版を受ける背景
AWSの新資格AWS Certified AI Practitionerをせっかくなら同じ日に集まって受けてみよう!という会に誘っていただいたので9月14日に受ける予定をしています## 勉強方法
・AWS スキルビルダー
AWSが提供する公式のオンライン学習プラットフォームです。ベータ版の試験に向けて、英語で提供される20問の公式練習問題セット「AWS Certified AI Practitioner Official Practice Question Set (AIF-C01)」を活用して学習しています。
英語で提供されているため、翻訳機能を活用しながらインプットを行っています。・G検定の参考書
機械学習やAIの基礎を学ぶために、「G検定」の参考書を使用しています。AIの基本的な概念を理解するために、まずはこの参考書から学習をスタートしました。https://www.shoeisha.co.jp/book/detail/9784798157559
## 今後の勉強の進め方
G検定の本でAIの基礎固め
AIや機械学習に馴染みがないため、まず
Cognitoのログイン属性を知らないようじゃ無理か。ログイン属性はね、知っとかないと。
## はじめに
本記事では、Cognitoユーザープール内で同一のエイリアスを持つユーザーが存在することをNGとしたい時に、既にプール内に存在するエイリアスを持つユーザを追加をしても、重複エラーが発現せず躓いてしまったので、ログイン属性について解説し、対処方法をシェアします。:::note info
この記事は10分程度で読むことができます。
:::## 目次
1. 問題
1. 原因
1. 対処## 1.問題
今回起きた問題は、””はじめに””も記載しましたが、以下の通りです。
“`
Cognitoで複数のログイン方法を許容し、ユーザープール内で同一の電話番号を持つユーザーが存在することは
NGとしたい時に、既にプール内に存在する電話番号を持つユーザを追加をしても、
重複してることを知らせるエラー(AliasExistsException ※1)が発現せず、同一の電話番号を持つ
複数のユーザがユーザープールに存在できてしまった。※1 AliasExistsExceptionは、指定されたエイリアス属性(電話番号やメールアドレスなど)が
既に他のユーザーアカ
AWS RDSインスタンスの自動起動・停止設定
## 目的
AWS RDSインスタンスを停止し7日経過後、自動で起動してしまい気付かないうちに請求料金がとんでもないことに!となるのは、おそらく初心者あるあるかと思います。
そのため、RDSインスタンスが自動で起動する前に、こちらで設定した時間に確実に自動で起動・自動停止をさせることで、うっかりRDSインスタンスが起動したままになることを防止します。## 対象者
RDSインスタンス自動起動・停止させるにはLambdaなども使えますが、スクリプトは書けない…
そんなAWS初心者向けの**EventBridge**を使用した簡単な方法です。## IAMRoleの作成
1.まずはRoleの作成から始めます。
IAMダッシュボードへ移動し、まずはEventBridgeがRDSを自動起動・停止出来るポリシーを作成するため、サイドメニューからポリシーを選択![ポリシー選択](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3676304/e90a7051-70df-7021-5bba-f01271b9b5cc.pn
【OCI クラウド移行ガイド】 AWS Lambda を OCI Functionsへ移行してみた(その3:OCIからAWSサービスを扱う編)
(その1:Hello World編はこちら)
https://qiita.com/araidon/items/6ae7067efe92ecaec776(その2:S3 put編はこちら)
https://qiita.com/araidon/items/56d7942dbd19ec1c1e87# OCIクラウド移行ガイドとは
オンプレミスやAWSなど、複数のプラットフォームからOracle Cloud Infrastructureへの移行プロジェクトに取り組んでいるクラウドエンジニア(@araidon,@kazunishi,@yama6)による、OCI移行手順をまとめたシリーズ記事です。
各回、サンプルワークロードから対象サービスを取り上げ、移行手順をガイドいたします。
まとめ記事は以下になります。https://qiita.com/yama6/items/b197c0fe3ec75eb02637
# 移行するサービス:AWS Lambda
今回、移行対象とするのはAWS Lambdaです。
例えばOCIに移行することが難しいAWSサービスに対して、AWS Lambda
GitHub Actionsを使ってS3内のファイルを自動的に更新しよう!
## 概要
GitHub Actionsを使ってS3内のファイルを自動更新する方法についてNested Stackを使用する際に使用するS3内のCloudFormationテンプレートの自動更新を例に解説します
デプロイする用のロールとS3についてはCloudFormationを使って構築します## 前提
– OIDCの設定済み
– CloudFormation、OIDCに関する知見を有している## 実装
### CloudFormationを使ったS3とIAMロールの作成
まず、S3とIAMロールをCloudFormationを使って作成します
以下がS3用のテンプレートです“`yaml
AWSTemplateFormatVersion: 2010-09-09
Description: “S3 Bucket Factory Settings Stack”# ————————————-
# Metadata
# ————————————-
Metadata:
AWS::
2024 AWS Summit Japan参加レポート
## はじめに
AWS Summitとは一年に一回幕張メッセで行われるAWSに関して学習し、ベストプラクティスの共有や情報交換ができる日本最大級のAWSイベントです。
人が多いと聞いていたのですが、思ったよりも多く
また色んな展示や講演がありお祭りのようでした。## 当日の様子
会場には9時過ぎに到着、この時間帯はまだ空いてました。
![IMG20240621090058.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2586109/d4bda429-cc89-0895-8cc2-8b8311602e40.jpeg)![IMG20240621090432.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2586109/1a40004a-7e97-8be3-e142-ce78e68bffcf.jpeg)
開催前のブースの様子
![IMG20240621090625.jpg](https://qiita-image
インターネットG/W経由のEC2とS3間の通信がインターネットを経由するかどうか
特に設定を変更しない場合に EC2 インスタンスから S3 や DynamoDB などのパブリックなサービスエンドポイントを持つ AWS サービスとの通信は、VPC に紐づく Internet G/W 経由でおこなわれます。この時、通信はインターネットを経由するのかという質問をたまに受けます。
この質問の回答は、AWS の次のドキュメントを読むと分かります。
https://docs.aws.amazon.com/ja_jp/vpc/latest/privatelink/privatelink-access-aws-services.html
下図に示す通り、EC2 インスタンスから S3 への通信は Internet G/W を通過しますが、AWS グローバルネットワーク内で処理されます。この通信は、パブリック IP を使用しておこなわれますが、物理的にインターネットを経由しません。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2210265/103e0492-4cf8-0c
とりあえずBedrockを個人利用としてLambdaで実行するまで
## 事前準備
Amazon Bedrockを利用するためには、以下の事前準備が必要です。– AWSアカウントの作成されていること
– マネジメントコンソールまたはAWS CLIが操作可能であることhttps://qiita.com/ryome/items/ff2804be600cd5dcd61a
– Node.jsがインストールされていること
https://qiita.com/ryome/items/f2a0bc2de007da30bbfd
## Amazon Bedrockの有効化
Amazon Bedrockを有効にするための手順を以下に示します。### 1. Bedrockサービスの有効化
1. **AWS Management Console** にログインします。
2. 検索バー に **Amazon Bedrock** と入力し、サービスを選択します。
![001.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/449867/360d417e-2a30-1192-532f
MLflow LLM Evaluate:Amazon Bedrock / Claude 3.5 Sonnet で LLM-as-a-Judge による LLM の評価
# はじめに
株式会社NTTデータ [デジタルサクセスソリューション事業部](https://enterprise-aiiot.nttdata.com/) で AWS や Databricks を推進している [nttd-saitouyun](https://qiita.com/nttd-saitouyun) です。
MLflow LLM Evaluate で モデルサービングされた LLM を評価する記事を書きました。
https://qiita.com/nttd-saitouyun/items/5b4014f9326bd3997736
今回は同じシナリオで、**LLM-as-a-Judge** による評価をしてみます。
[マニュアル](https://docs.databricks.com/ja/mlflow/llm-evaluate.html#metrics-with-llm-as-a-judge)には OpenAI の GPT を使った評価が多いのですが、今回は、**AWS で Databricks を使っている方に役立つように** モデルサービングエンドポイントで接
【アップデート】CloudFormationでIaC ジェネレーターでのリソース検出とテンプレートレビューの機能が強化されました
こんばんは、Koderaです。
CloudFormationでIaCジェネレータに関するアップデートがありました。
https://aws.amazon.com/about-aws/whats-new/2024/08/cloudformation-resource-discovery-template-review-iac-generator/## IaCジェネレータとは
CloudFormation IaC ジェネレーター(Infrastructure as Code ジェネレーター)は、AWS CloudFormation で既存のリソースからテンプレートを作成できる機能です。
CloudFormation で管理されていないアカウントにプロビジョニングされた AWS リソースを利用してテンプレートを生成できます。AWSマネジメントコンソールからも利用でき、メニューの「IaCジェネレーター」を選択します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3858908/c60f
データベースのパフォーマンスチューニングについてまとめてみました。
## はじめに
Webページやアプリにログインして、**表示されるまで、時間がかかると、イライラしませんか?** 使う側としては、画面が表示されるまでに、耐えられる時間って、限られていますよね?Webページやアプリにログインしてから表示されるまでの時間が長いと、ユーザーはイライラしやすくなります。ユーザーエクスペリエンス(UX)において、レスポンスの速さは非常に重要な要素です。### ユーザーが耐えられる時間の目安
1. **0.1秒以内**
ユーザーは即座に反応が返ってきたと感じます。インタラクションがシームレスに感じられ、ユーザーエクスペリエンスが非常に良好です。2. **1秒以内**
ユーザーは遅延を感じますが、まだ集中力を保つことができます。ページ遷移や簡単な操作においては許容範囲です。3. **1〜3秒**
ユーザーは明確に遅延を感じ始めますが、まだ耐えられる範囲です。この時間を超えると、ユーザーの満足度が低下し始めます。4. **3秒以上**
ユーザーはイライラし始め、ページを離れる可能性が高くなります。特にモバイルデバイスでは、3秒以上の遅延はユーザー
Aurora Serverles V2の選定ポイント、大規模コスト削減事例
# はじめに
JAWS PANKRATION 2024で発表させていただいた内容を日本語訳でブログにまとめます。https://jawspankration2024.jaws-ug.jp/ja/timetable/TT-64/
# 触れること
・Aurora Serverless V2を利用した大規模コスト削減事例
・Aurora Serverless V2のパフォーマンスとスケーリング
・Aurora Serverless V2の選定ポイント# Aurora Serverless V2とは?
Aurora Serverless V2は、以下の特徴を持つリレーショナル・データベースです。
・負荷に応じた自動スケーリング
・高い可用性
・高い拡張性
・高いコスト効率 ※注意が必要 別途解説
・サーバレスとプロビジョニングインスタンスの共存が可能![スクリーン
【AWS】utf8mb4で「????」が表示された時はskip-character-set-client-handshakeも確認する
# 概要
RDSのパラメータグループで、文字セットをutf8mb4にしたのに、4バイト文字を連携すると「????」と表示されてしまいました。
解決方法を紹介します。# 前提とエラー内容
RDSのエンジンバージョンについては、Aurora3のmysql8.0を利用。
Clusterのパラメータグループにて、以下はすべてutf8mb4にしました。“`
character_set_client
character_set_connection
character_set_database
character_set_filesystem
character_set_results
character_set_server
“`RDSデータベースの方を確認しても、DB自体やテーブルもそれぞれutf8mb4になっていました。
ここでアプリを通して4バイトの特殊文字などを連携すると「????」と返されてしまいます。
4バイト文字とは、絵文字や一部の旧字体などが該当し、utf8mb4文字セットではこれらを含むすべてのUnicode文字をサポートしています。本来ならば、正常に表示
【初心者向け】Amazon FSx for NetApp ONTAPとは
こんにちは、Koderaです。
Amazon FSx for NetApp ONTAPについて、改めて整理してみます。### Amazon FSx for NetApp ONTAPとは
[Amazon FSx for NetApp ONTAP](https://aws.amazon.com/jp/fsx/netapp-ontap/)は、2021年のAWSオンラインイベントである「[AWS Storage Day 2021](https://aws.amazon.com/jp/blogs/news/welcome-to-aws-storage-day-2021/)」で新サービスとして発表されました。
NetApp独自のオペレーティングシステムを利用していて、1 つの名前空間でのペタバイトスケーリングのデータセットをサポートします。
オンプレミスのONTAPの全ての機能をAWSマネージドのファイルサービスとして利用することができます。### Amazon FSx for NetApp ONTAPの特徴
#### フルマネージドサービス
NetApp ONTAPは、Amazon
AWS BatchのMulti Containerを試してみた
# はじめに
最近、AWS BatchでMulti Containerの機能が追加されたことを知りました。https://aws.amazon.com/jp/about-aws/whats-new/2024/02/aws-batch-multi-container-jobs/
https://aws.amazon.com/jp/blogs/news/run-large-scale-simulations-with-aws-batch-multi-container-jobs/
以前、AWS BatchでAWS X-Rayによりトレースするためにいくつか試行錯誤したことがあったため、こちらのMulti Containerを利用してX-Rayデーモンも同時に起動ができるのかを試してみました。
https://qiita.com/dsy/items/be81fcc9c788f1edafa1
:::note warn
あくまで試行錯誤した結果なので、実際に試す場合は自己責任でお願いします。
:::## AWS Batchの作成
以前に作ったものと同様に簡単なAWS Bat