AWS関連のことを調べてみた

DynamoDBをローカルで動かす

# DynamoDBをローカルで動かす

`docker`を使用して、`DynamoDB`をローカルで動かす手順をメモっておきます。

## docker-compose.yml

`docker-compose.yml`ファイルを作成

次を貼り付ける。

“`yml:docker-compose.yml
version: “3.7”

services:
dynamodb-local:
image: amazon/dynamodb-local:latest
container_name: dynamodb-local
user: root
volumes:
– “./data:/data”
command: [“-jar”, “DynamoDBLocal.jar”, “-sharedDb”, “-dbPath”, “/data”]
ports:
– “8000:8000”

dynamo-admin:
image: aaronshaf/dynamodb-admin:latest
con

bedrock knowledge baseを使ってAI総務社員を作ってみた

# :tent:　背景
弊社では社内規定に対する質問が全社員から総務部に問い合わせがあり総務の負荷が増えております。「社内規定を見てください！」と常々周知はしていますが聞いた方が早いため気軽に総務にチャットで聞いてしまうのが現状です…これは「どげんかせんといかん！」(どうにかしなくては)ということで最近AI関連の技術でbedrock knowledge baseで**RAG検索**とかいう社内規定文章をベースにいい感じに回答してくれる仕組みがあるらしいので試してみました。

# :raised_hands:　ゴール
・teamsで社内規定の質問を投稿するとAIが自動で回答すること
・一般的な情報ではなく社内規定文章を元にした回答であること
・嘘をつかないこと
・総務の若い子からQiiZiro（私）さん素敵です:couple_mm:と愛が芽生えること:seedling:

ムフ、ムフフフフ…
AIの勉強にもなって念願の彼女もできる（かもしれない）ので燃えてまいりましたぞ:muscle:

# :tools:　アーキテクチャ
teamsとの親和性を考えるとバックエンドは

AWSを基本的にまとめてみた【AWS Well Architected】

## AWS Well Architectedとは？

– クラウドアーキテクチャの構築、運用、最適化を支援するためのフレームワークで、6つの柱から構成されており、それぞれの柱にはベストプラクティスが定義されている

## 参考サイト
[【2分で解説！AWS初心者向け】AWSのベストプラクティス AWS Well-Architected フレームワークとは？【クラウドプラクティショナー】](https://www.youtube.com/watch?v=6xMRQudvgmo)

せっかくのGWなのでAmazon bedrockのハンズオンを行ってみた

### はじめに
文系ITエンジニアになって2年半がたったまだ駆け出しのAWSのBedrockをさわる記事です。
私は、AWS SAAまで持ってますが、業務ではEC2,RDSなど基本的なところだけ触ってるくらいの知識です。

今回は、[ みのるんさん ](https://qiita.com/minorun365)の[ AWSの生成AI最新機能ハンズオン！BedrockのKnowledge BaseとAgentsに入門しよう ](https://qiita.com/minorun365/items/86a3667290a8e5657f65)を行ってみる。

※この方は6月末に本を出してしまうくらい生成AI関係について発信しているのでおすすめです。

[前回](https://qiita.com/tartarprogram/items/cb0261066f0df9a5beee)は、このハンズオンだと 2. Knowledge BaseでRAGに挑戦！ までだったから、そこからさらに一歩進んでみます。

### 作業概要

0.環境準備
1.まずはBedrockを使ってみよう！
2.Know

AWS Cost Anomaly Detectionの初期設定と所感

コスト異常検出のレイテンシーが減少したという公式ニュースを見かけました。
見た事はあったんですが触った事がなかったので触ってみた所感になります！

AWS Cost Anomaly Detection reduces anomaly detection latency by up to 30%
（訳 AWS コスト異常検出により、異常検出のレイテンシーが最大 30% 削減されます）

https://aws.amazon.com/about-aws/whats-new/2024/05/aws-cost-anomaly-detection-reduces-latency/

# ■そもそもAWS Cost Anomaly Detectionとは？

簡単に説明すると、そのまんまコストの異常検出です
機械学習を使っていい感じに異常があったらメールで通知してくれるんだな〜って感覚でまずは良いかと思います。

導入ステップについてはAWSコンソールにも記載がありました。

![cost概要.png](https://qiita-image-store.s3.ap-northeast-1.am

AWSを基本的にまとめてみた【CloudTrail】

## CloudTrailとは？

– AWSアカウント上でのAPI操作をログに記録するサービス
– CloudTrailを使用することでAWSアカウント内に『誰が、いつ、何に対して、何をしたか』を把握できる
– 取得可能な操作には、(1)管理イベントと(2)データイベントがある
– 標準で90日間、管理イベントログを保存できる

##### (1)管理イベント

– AWSアカウント内のリソースに対して実行される操作で、マネージメントコンソールへのログインやEC2インスタンスの作成などが含まれる

##### (2)データイベント

– リソース上またはリソース内で実行される操作で、Lambda関数の実行やS3バケット上のデータ操作などが含まれる

## CloudTrailのメリット

– AWS上での操作ログが自動的に保存されるため、コンプライアンス監査に役立てることができる
– トラブルが起きた場合に問題となる行動、利用者の不正操作などをすぐに特定が可能
– イベントログを管理しているため、セキュリティや運用上の問題を発見できる
– AWSアカウント内で『誰が、いつ、何に対して

FileMaker Server 2023 ubuntu インストール

## AWSでubuntuを立ち上げる
＊私はこのイメージで立ち上げました。


## インスタンスが立ち上がったらSSH接続
＊私はAWSのコンソール画面から接続
![スクリーンショット 2024-05-14 11.01.55.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/146151/8e13fdde-64d1-6284-e5

Amazon Monitronの機械クラスをどう捉えるべきか


## なぜこの記事を書くのか

Amazon Monitronは産業機器に適しています。サービスの詳細はここでは割愛します。

センサーデバイス（振動と温度）は産業機器に設置するのですが、設定の際にISO 20816に基づいたクラス分類に沿って、クラスを選択する必要があります。

ただここで大抵つまずきます。規格がわかりづらく、どのクラスに設定すべきか自明でないからです。

## 規格のあいまいさについて

[AWS公式](https://docs.aws.amazon.com/ja_jp/Monitron/latest/user-guide/as-add-sensors.html)のクラス、説明を元に、文章から読み取れる定格出力の幅と一言表現を表にしてみました。

| クラス | 説明 | 定格出力の幅 |一言で |
|:-:|:-:|:-:

【aws】lambda layerを使ってlambdaにモジュールをインポートする

## はじめに
AWS Lambdaではawsが提供しているもの以外のライブラリを使いたい場合、事前にライブラリをアップロードする必要があります。
（私はそれを知らずに`luxon is not defined`エラーを出しました😅）
今回はその方法を記録したいと思います。

## 事前準備
– npmのインストール
– awsコマンドのインストール（[こちらのAWS公式サイト](https://repost.aws/ja/knowledge-center/lambda-import-module-error-nodejs)が参考になりました。）

## layerのアップロード
以下の手順はお使いのPCのCLIで実行してください。
#### 1.nodejsフォルダーを作成
“`shell
$ mkdir nodejs
“`

#### 2.利用したいライブラリをnodejsフォルダーにインストール
“`shell
$ cd nodejs
$ npm init
$ npm install –save ライブラリ名
“`

#### 3.nodejsフォルダを圧縮
“`sh

3大クラウド(AWS,GCP,Azure)でよくあるネットワーク構成を実践してみる

# はじめに
AWSでよく出てくる次のネットワーク構成。プライベートサブネットとパブリックサブネットを作成して、インターネットからアクセス可能なインスタンスとアクセス不可能なインスタンスを用意するやつです。
他のクラウドだと意外とこのような構成を実現する記事がなかったので、3大クラウド(AWS,GCP,Azure)で比較しながら、それぞれ実践してみました。

:::note info
筆者の本業は機械学習エンジニアであり、クラウドやインフラのエンジニアではないので、この構成を利用する際はあくまで自己責任でお願いします。また、もし不備等あればご指摘いただけるとありがたいです。
:::

# 作りたい構成の紹介
クラウドごとの差異もあるので、本構成として最低限必要な要素を洗い出してみます。

– インターネットからア

Bedrock Embeddingsモデルの日本語データセット性能比較（Titan Embeddings G1/V2、Cohere Embed）

Titan Text Embeddings の V2 なるものが GA したので、日本語を取り扱える Embeddings モデルの性能を比較してみたいと思います。

https://aws.amazon.com/jp/about-aws/whats-new/2024/04/amazon-titan-text-embeddings-v2-amazon-bedrock/

# 使用データセット

JSTS

https://github.com/yahoojapan/JGLUE/blob/main/datasets/jsts-v1.1/valid-v1.1.json

JSICK

https://github.com/verypluming/JSICK/blob/main/jsick/test.tsv

※他に何か良いのありますかね？マルチリンガルなものはどう使うのが正しいのか

# 比較用プログラム

日本語データセット各行の日本語1と日本語2をベクトル化してコサイン類似度を計算し、データセットのお手本のスコアとの順位の相関を計算します。

“`Python:JSTS.py
fro

【aws】CloudWatchを用いてlambdaのエラーを確認する

## はじめに
私はaws初学者であり、現在awsのlambda, GateWay, DynamoDBを用いてAPIを開発しています。作成したAPIを叩いたとき、`{“message”: “Internal server error”} `というエラーが現れました。このメッセージだけでは、具体的なエラーの原因がわかりません。調べたところ、Lambdaで発生した実行時のエラーはCloudWatchで確認できることがわかりました。今回はその確認方法をまとめて記録します。

## CloudWatchを開く
lambdaの`モニタリング`タブから`CloudWatch ログを表示`を選択し、`CloudWatch/ロググループ/Catfeeder`にアクセスすることができます（手動でCloudWatchを開いてロググループ→Catfeederでアクセスすることもできます）

![１.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2984024/c3d85fd8-1102-ea2a-8d8c-afea817c6

TerraformでCodepipelienの進捗をSNSとChatbotを使ってSlackに通知する

# TerraformでCodepipelienの進捗をSNSとChatbotを使ってSlackに通知する

### コンソールで事前準備

とりあえずChatbotとSlackのワークフロー連携はGUIじゃないと出来ないのでやります（残念

– Chatbot開いて
– `新しいクライアントを設定`押して

– 一覧から`Slack`を選択して連携してください

### 以下Terraform

provid

Amplify CLIでPython REST APIを設定する

# はじめに
業務の一環でAmplifyにホストしたTypeScript ReactベースのwebアプリからPython実装のAPIを使いたかった。初手として、Amplify CLIを用いてLambda+API Gatewayを使った実装を試行したので、備忘をここに残す。
この記事のゴールはAmplify CLIでapiを追加してpushするところまで。

# 環境
– OS macOS Sonoma 14.4.1
– AWS Amplify CLI 12.11.1
– Node.js v20.11.0
– npm 10.2.4
– TypeScript 5.3.3
– React 18.2.0
– Python 3.12.1

# 前提
AmplifyにAuthとStorageを追加済み。ここからPython実装のAPIを追加する。
“`shell
inakason@buz web-app % amplify status

Current Environment: dev

┌──────────┬─────────────────┬───────────┬───

AWSを基本的にまとめてみた【CloudWatch】

## CloudWatchとは？

– EC2、RDSなどのAWSリソースやAWSで実行されているアプリケーションなどのリアルタイムでモニタリングするサービス。
– CloudWatchを使用することでインスタンスのCPU使用率、Diskの読み書き回数などを監視できる。

## メトリクスとは？

– EC2やRDSなどの監視対象から取得するデータのまとまりのこと。
– (1)標準メトリクスと(2)カスタムメトリクスがある。

##### (1)標準メトリクス
– AWSの管理範囲の情報は、標準メトリクスとして収集が可能。

例: EC2では、CPU使用率やネットワークのトラフィック情報が標準メトリクスとして収集される
例: RDSでは、EC2の標準メトリクスを加えて、メモリやディスクの使用量などの情報が標準メトリクスとして収集される

##### (2)カスタムメトリクス

– 標準メトリクスとして収集されない情報を収集する際にカスタムメトリクスを使用する。

## CloudWatch Alarmとは？

– CloudWatchのメトリクスに対してアラームとアクションを設定するこ

AWSを基本的にまとめてみた【Config】

## Config とは？

– AWSリソースの設定変更の追跡やコンプライアンスの遵守状況の評価などを行うサービスで、AWSリソースが『いつ』『どの設定が』変更されたのかを記録することができる。

例: S3バケットのアクセスポリシーが変更された場合は、Configが変更を検知して、変更内容をログに記録する。

## Config ルールとは？

– AWSリソースの理想の構成をルールとして定義して、アカウント内のリソースがルールに準拠しているか自動で確認する。
– Configルールによって特定できる問題には、セキュリティグループの不適切な設定、S3バケットのパブリックアクセス設定などがある。

## Config アグリゲータとは？

– 複数のAWSアカウントのConfigルールの評価結果を集約、分析するためのサービスで、評価結果を単一のAWSアカウントに集約して一元管理することができる。

## 参考サイト
[【AWS Config】ソリューションアーキテクト アソシエイト(SAA) 第37回講座](https://www.youtube.com/watch?v=Jf0bw

AWSを基本的にまとめてみた【RDS】

## RDS(Amazon Relational Database Service)とは？

– (AWS) が提供するクラウドベースのリレーショナルデータベースサービス
– RDSでは、PostgreSQL, Amazon Aurora, Oracle, Microsoft SQLServer, MySQL,
Mria DBの6種類を使用することができる

## RDSの種類

(1) リードレプリカを使用することで、大量の読み込みリクエストが来た際も分散処理ができ、パフォーマンスを落とさず処理することができる。
※ リードレプリカ・・・読み取り専用のデータベースを使用することができる

(2) マルチAZ構成:RDS構築時にマルチAZを有効化すると自動的に異なるAZに２台のRDSが構築される。

(3) 自動バッグアップ。

(4) メンテナンス:RDSでは、サーバーのOSは利用者の管理対象外になる。

(5) ストレージ拡張:RDSでは、起動したままのストレージ容量を拡張できる。
※ 容量を少なくすることはできない。容量を少なくするには、新規にRDSを構築してデータを移行する必要

IBM CloudとAWSのコンテナプラットフォーム調査メモ

# はじめに

コンテナを動かしたくて、コンテナを動かすクラウド環境（IBM Cloud と AWS）について調べました。
特に簡単にコンテナを動作できる軽量コンテナプラットフォームについて整理します。

※ IBM Cloud よりの内容になってます。

# 概要
まずは、コンテナプラットフォームについて全体と軽量なコンテナプラットフォームについての概要です。

## 環境
IBMとAWSのコンテナプラットフォームは以下のようなものがあります。
大きく、軽量コンテナプラットフォーム（Code Engine等）、自社特有のコンテナプラットフォーム（ECS）、Kubernetes、RedHat OpenShiftがあります。

– IBM
– IBM Cloud Kubernetes Service (IKS)
– Red Hat OpenShift on IBM Cloud (ROKS)
– IBM Cloud Code Engine
– AWS
– Amazon Lightsail Containers
– Amazon Elastic Beanstalk
–

AWS・Azureのネットワーク系セキュリティサービスをまとめてみた

## はじめに
AWS・Azureのネットワークセキュリティサービスって覚えにくくないですか？
何のサービスが何を保護してくれるのか、今回改めてまとめてみました。

## 一般的に利用されるネットワークセキュリティ
前提として一般的なネットワークセキュリティの知識を少し書きます。
### ファイアウォール
ファイアウォールはネットワークレベルでトラフィックを監視及び制御します。
通信の送信元情報と送信先情報（IPアドレス、ポート番号等）を基にして、アクセスを制御します。
不正アクセスやネットワーク攻撃からネットワークを保護することが主な目的です。

### WAF
Web Application Firewallの略であるWAFはその名の通り、Web アプリケーションのセキュリティを強化します。
Webアプリケーションレベルでの攻撃（SQLインジェクション、クロスサイトスクリプティング等）を検出及び防御します。
Web アプリケーションの脆弱性を保護することが主な目的です。

### IDS/IPS
IDS/IPSはネットワークやOS・ミドルウェアへの攻撃を検知・防御します。
IDS（

AWS Lambdaで、LINE Botにローディングアニメーションを表示

# ローディングアニメーション
Messaging APIに、ローディングアニメーション表示機能が追加されました。

https://developers.line.biz/ja/news/2024/04/17/loading-indicator/

メッセージを送信してから返答が来るまでの間、指定した秒数だけローディングアニメーションが表示されます。また、表示中に返答が来ると自動的に消えます。

# 実装
既にGASで実装した記事は出ているため、今回は、AWS Lambdaで実装しました。
ローディングアニメーションの部分だけ抜き出すと下記のようになります。

UserIDは環境変数から取得しています。

“`lambda.py
# LINE Botの設定
li