AWS関連のことを調べてみた2023年10月01日

Amazon Bedrockで選択できるモデルの一覧

## 目次

* [テキストモデル](#テキストモデル)
* [テキストモデル（Embeddings）](#テキストモデルembeddings)
* [画像モデル](#画像モデル)

## テキストモデル

| モデル名 | 最大トークン数 | 言語 | ユースケース | 特徴 |
| — | — | — | — | — |
| **Claude 2**
[Anthropic](https://www.anthropic.com) | **100K** | English and **multiple other languages** | Thoughtful dialogue, content creation, complex reasoning, creativity, and coding. Claude 2 excels at the core capabilities of Claude 1.3 and Claude Instant. | Claude 2 is a general purpose large language model,

VMware Cloud on AWS ユースケース別の投稿記事まとめ (@Sanjushi003)

# 1. はじめに
「VMware」および「VMware Cloud on AWS (VMC)」についての私の投稿が 50 記事を超えたので、比較的閲覧数が多いものに絞ってユースケース別に分けてあらためてご紹介します。

# 2. VMC の構成および仕様の実機確認

https://qiita.com/sanjushi003/items/0aa6fd8c121c05ba1d7d

https://qiita.com/sanjushi003/items/03c3f634931fb8e0fbc7

https://qiita.com/sanjushi003/items/90e878528ef3526d5ba4

https://qiita.com/sanjushi003/items/01dec3aba5038c025d4b

## 応用的なネットワーク構成

https://qiita.com/sanjushi003/items/c55b28cbf05894988ecf

https://qiita.com/sanjushi003/items/23250524691218b6ddec

boto3 でAmazon Bedrock経由でStable Diffusionを叩いて、画像を保存する

# 何の記事？
– 2023/09/28にGAになったAmazon Bedrockに遅れて、boto3(python のAWS SDK)が対応した
ので、boto3経由で叩く
の続き
– 記事タイトルの通り

# IAM Policy
– RecouseのARNはAPIサンプルのモデルIDがわかればOK
– モデルIDは、モデルのページ(例えば[ここ](https://us-east-1.console.aws.amazon.com/bedrock/home?region=us-east-1#/providers?model=claude-v2))に記載されている、APIRequestのmodelIdと一致する
“` policy.json
{
“Version”: “2012-10-17”,
“Statement”: [
{
“Sid”: “VisualEditor0”,
“Effect”: “Allow”,
“Action”: [
“be

boto3 で Amazon Bedrock を叩く on Docker

## 何の記事？
– 2023/09/28にGAになったAmazon Bedrockに遅れて、boto3(python のAWS SDK)が対応した
ので、boto3経由で叩く
– あまりまとまった情報がなかったぽい、IAM ポリシーについて記載する
(モデルのARNがパッとわからなかった)

## 前提
– Amazon bedrockのサービスで利用するモデルのアクセス申請を行い、利用可能状態にしておく
　やりたかは[こちら](https://qiita.com/hamanuman/items/771ad6e3a205be1896f8)を参照
– 手元のPyhon/boto3を気軽にバージョンアップできないため、コンテナを作成して環境を作る
– コンテナにCoredntialファイルを渡すため、念の為新しいbedrock用のポリシーをもったCredentialを用意する

## Amazon Bedrock利用可能なPolicyの作成
– 2023/10/1 時点で、AWS Managedのいい感じのPolicyがなかったため、自身で作成する
– 今回利用するのはとりあえず

Amazon BedrockのWorkshopをVisual Studio Codeで動かすまでの手順

# はじめに
Amazon BedrockのGAに伴い、JAWS-UG横浜支部でワークショップのもくもく会を開催しました。
https://jawsug-yokohama.connpass.com/event/297915/

BedrockはGA前から変更された点が多く、Langchainのバージョンを上げないといけない等注意点が多かったので、まずはスタートラインに立てるようにするための記事です。

### 日本語のワークショップURL
https://catalog.us-east-1.prod.workshops.aws/workshops/a4bdb007-5600-4368-81c5-ff5b4154f518/ja-JP/50-qa/52-rag-qa

### ワークショップのGitHubリポジトリ
https://github.com/aws-samples/amazon-bedrock-workshop/tree/main

現時点で、日本語のワークショップは未完成のものが多く、実際はワークショップのGitHubリポジトリを見に行くのが良いです。

この記事は2023/

Amazon BedrockのEmbeddingsで作成したベクトルDBをLambda単体で使用する手順

[前回の投稿](d68ee613776e2e18b81b)で、Amazon BedrockのEmbeddingsを試しました。
LLMと独自ナレッジを組み合わせたFAQに活用できそうです。

ベクトルデータベースのQdrantでは、単体のサーバーとして構築する方法だけでなく、メモリー上で動作させたりローカルファイルシステムで動作させることができます。

ローカルファイルとして動作するということは、 **Lambda化できるのではないか！？** と思い、挑戦しました。

## 手順

1. SAMプロジェクトを作成
`sam init`コマンドを実行し、SAMプロジェクトを生成します。言語はPython 3.10、Zipでデプロイの方式を選択しました。

1. `hello_world/requirements.txt`に必要なライブラリーを追加します。バージョンは2023/9/30時点のものです。GA直後のため、今後バージョンアップするものと思われます。

“`txt
boto3==1.28.57
langchain==0.0.303
qdra

Amazon BedrockのEmbeddingsを試しました。（良さげです）

Amazon BedrockのEmbeddingsを試しました。

## 環境

* Ubuntu 22.04 (.devcontainer)
* Python 3.10
* VSCode + Python拡張 + Jupyter拡張

1. ライブラリーのインストール

“`python
%pip install -q -U \
boto3==1.28.57 \
langchain==0.0.303 \
unstructured \
qdrant-client
“`

## Embeddingsしてベクトルデータベースを作成

1. [EC2のFAQ](https://aws.amazon.com/jp/ec2/faqs/)を取得


“

Linebot × ChatGPT × Amazon Polly が織り成す楽しい自動対話の世界

# ChatGPT使って何か作りたい
ChatGPTが出てきてからAI（人工知能）への興味や関心を抱く方が非常に増えましたね。
私も魅力にハマった一人です。ChatGPTを初めて利用した時の感動と驚き、これを使ってどんなことができるようになるんだろう！とワクワク感がたまりませんでした。

ChatGPTを使って自分も何か作りたいなぁと思い、考えたのが自動対話アプリです。
本当は、、AIアバターを使って、音声入出力できて、性格や口調なんかもカスタマイズできて、、と色々夢物語を描いてみたんですが、どうやって作れば良いか見当もつかなかった。。

なので、まずはミニマムにテキスト＆音声応答する対話アプリを考えてみました。
下のイメージで作ります。（作ったやつです…）

# 構成
大好きなサーバーレスサービス駆使していきます。
* フロン

aws-sdk-go経由で AWS bedrock / Stable Diffusionで画像生成するメモ

個人用メモ
– 上位モデルは現在予約済のスループットでしかサポートされていない?
– goに関してはbedrock でなく bedrockruntime パッケージを使う。
– 画像はbase64データとしてSDKより直接返ってくる
– APIリクエストのオプションは[stability.ai](https://platform.stability.ai/docs/api-reference#tag/v1generation/operation/textToImage) と同様

“`go
package main

import (
“encoding/base64”
“encoding/json”
“fmt”
“github.com/aws/aws-sdk-go/aws”
“github.com/aws/aws-sdk-go/aws/session”
“github.com/aws/aws-sdk-go/service/bedrockruntime”
“github.com/wano/contextlog/clog”
“os”
“path/filepat

【AWS】CloudWatchEvents→(SNS→)Lambda→Slackへ通知する場合のLambda関数コード

# 概要

“`
AWS Batch -> CloudWatch -> SNS -> Lambda -> Slack
“`

AWS Batchが`Failed`になった場合にSlackへ通知する流れを作成しました。
本記事では、Lambda関数に記載するコードを紹介します。

※Role含め、これらのリソースをCloudFormationで一括作成する記事も別途投稿します。

# 通知フロー
以下の流れで処理が行われます。

AWS Batch：ジョブ実行結果(ステータス)が`Failed`になる
↓
CloudWatchEvents：`Failed`の情報を収集し、トリガーイベントとしてSNSに送信
↓
SNS：CloudWatchから受信したエラー情報をSNSメッセージとしてパブリッシュ
↓
Lambda：SNSから受信したメッセージをトリガーとして起動（Lambda関数がSNSトピックにサブスクライブされており、SNSメッセージがこの関数に送信される）
↓
Lambda関数：ステータスが`”FAILED”`である場合、Slack通知メッセージを構築し、指定されたSlackウ

GCP認定資格Professional Cloud Security Engineer受験対策

# はじめに
これからGoogle Cloud認定資格Professional Cloud Security Engineerの受験を考えている方向けに、試験合格のための要点を整理しました。
ただし、本記事を読んだだけで合格できる、ということを保証するものではありませんので、ご了承ください。

# もくじ
– Professional Cloud Security Engineerについて
– 要点
– 勉強法
– まとめ

# Professional Cloud Security Engineerについて
本資格では組織がGoogle Cloudを安全に利用するためにネットワークセキュリティやWebアプリケーションセキュリティに関する知識が問われます。問題は50～60問の選択式であり、試験時間は2時間、受験費用は$200 (税別) です。
[試験ページ](https://cloud.google.com/learn/certification/cloud-security-engineer?hl=ja)では、以下のことが評価されるとあります。

– クラウド ソリューション環境

EC2 Instance Connect EndpointでEC2の踏み台サーバーを作ってみる

## 概要
RDSを仕事で本格的に触る機会が増え、自宅でも検証など実施したくEC2で踏み台サーバー(いわゆるBastion)を作ってみたいと思いました。
検証する際はpublicなRDSではなくPrivateなRDSでいろいろ弄りたい。
(別にpublicなRDSならendpointさえ分かれば接続できる)
ただできるだけお金はかけたくなく、PrivateなEC2、かつローカルのLinuxからアクセスして作業することはできないかと調べていたところ「EC2 Instance Connect Endpoint」というものがあることを知りました。
しかも料金は無料！

https://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/connect-with-ec2-instance-connect-endpoint.html

こちらの記事を参考にterraformを利用して構築してみたいと思います。

EC2 Instance Connect Endpointを使ってEC2に接続してみた

https://blog

EC2 SSH鍵 なくした

https://repost.aws/ja/knowledge-center/user-data-replace-key-pair-ec2

– 方法1: [ユーザーデータ](https://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/user-data.html)を入力する
– 再起動したときに読み込まれて公開鍵を登録し直したりできる？
– [参考](https://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/instancedata-add-user-data.html)
– 方法2: [AWS Systems Manager](https://docs.aws.amazon.com/ja_jp/systems-manager/latest/userguide/what-is-systems-manager.html)
– 前提: [マネージドインスタンス](https://docs.aws.amazon.com/ja_jp/systems-man

GCP認定Professional Google Workspace Administrator受験対策

# はじめに
取得してからだいぶ経っていますが、Google Cloud認定資格の中ではかなり毛色が異なり受験対策も難しいProfessional Google Workspace Administratorについて受験対策の参考になると思い要点をまとめてみました。
ただし、本記事を読んだだけで合格できる、ということを保証するものではありませんので、ご了承ください。

# もくじ
– Professional Google Workspace Administratorについて
– 要点
– 勉強法
– まとめ

# Professional Google Workspace Administratorについて
本資格ではGoogle Workspaceでユーザーのポリシー設定したり、データアクセスを制御したりといったGoogle Workspaceを管理するのに必要な知識が問われます。問題は50～60問の選択式であり、試験時間は2時間、受験費用は$200 (税別) です。
[試験ページ](https://cloud.google.com/learn/certification

Spring × Ras Piでセンサから取得したデータを表示する #03AWS編

# 前回までに行ったこと
1. ローカルのPCでDocker上にデータベース構築とSpringでのサーバ構築
1. Ras Pi側でセンサからのデータを取得してdocker内のデータベースにデータ登録

# 今回行うこと
今までローカルのPCで行っていたことをAWSに移行する。

## AWSでdocker&docker-composeを動かす準備＆テスト
### docker部分
[[AWS]EC2内でDockerコンテナを起動して、ブラウザからアクセスする](https://weseek.co.jp/tech/2196/)を参考にHello Worldの表示まで行った。

### docker-compose部分
さらにここからdocker-composeを導入する。
[EC2（AmazonLin

Amazon Bedrockが登場！コイツでAWSのサーバレスAPIを簡単に作成できるのか？！

# はじめに

ChatGPTがリリースされてからすでに１年近くが経過し、日々の業務に広く取り入れられていると思います。
もはや特別な存在ではなく、多くの方々が利用されているのではないでしょうか？

AWSが提供する新サービス、Amazon Bedrockがプレビューフェーズを経て一般公開されました。

[AWS、生成系 AI のイノベーションを加速する新しい強力なサービス / 機能の提供を発表](https://aws.amazon.com/jp/about-aws/whats-new/2023/09/aws-announces-general-availability-of-amazon-bedrock/)

Amazon Bedrockとは、生成系AIではなく生成系AIをさえる**基盤サービス**です。
このBedrockという基盤を使用することで、様々な生成系AIを単一のAPIで利用可能とし、セキュリティを重視した環境も構築できるのです。

ですので、タイトルを正確に書くと
「Amazon BedrockでAWSのサーバレスAPIを作成」
ではなく
「Amazon Bedro

AWS: SystemsManagerのRunCommandでEC2インスタンスのコマンドを実行する

# AWS SystemsManagerとは？
SSM(SystemsManager)でできることはかなり沢山あるみたいです。
オンプレミスのサーバーも管理できるみたいですが、今回はEC2でのみの使用となります。

> AWS Systems Manager は、AWS アプリケーションおよびリソースのオペレーションハブであり、ハイブリッドおよびマルチクラウド環境向けのセキュアなエンドツーエンドの管理ソリューションです。これにより、安全でセキュアなオペレーションを大規模に実現できます。(AWS公式から引用)

## SSM RunCommandとは？
「AWS マネージドコンソールから各種コマンドを実行できる」機能です。
SSH等で対象サーバー内に入ることなく、マネージドコンソール上から各種コマンドが打てるようになります。

### RunCommandを実行するための前提条件
SSM RunCommandを実行するためにはいくつかの前提条件をクリアする必要があります。*EC2の場合
– インターネットアクセス(アウトバウンド)
– 対象EC2でSSM Agentがインストールされてい

『最初にやるべきAWSセキュリティ設定10のこと』を受けて

# はじめに
個人のAWSアカウントを作成する際に、まず取り組むべきセキュリティ対策諸々を知りた公式の講座を受けてみました。

# AWS講座
https://pages.awscloud.com/JAPAN-event-OE-At-least-10-security-2023-reg-event.html

# メモ

## AWSアカウントの保護において最優先で実施すべきこと
– AWS IAM
– ルートユーザを使わない
– 管理者IAMユーザ・機能別ユーザ
– 多要素認証(MFA)を利用する
– 特にルートユーザには必ず
– ルートユーザのアクセスキーを使わない
– デフォルトでは存在していない
– 一時的なクレデンシャルを使う

## AWSで起きた事実を記録する
– AWS Cloudtrail
– 操作履歴はセキュリティ面で「何が起きたのか」を把握するのに役立つ
– コンソールで過去90日間のイベントを無料で見られる
– 1つ目の証跡ログのS3への配信は無料なので、設定推奨
– Athenaでの分析

祝GA?Amazon Bedrockの魅力を体感するためのサンプルChatbotアプリ

## はじめに
2023/9/28、ついに Amazon Bedrock が一般提供開始 (GA) されました???

https://aws.amazon.com/jp/blogs/aws/amazon-bedrock-is-now-generally-available-build-and-scale-generative-ai-applications-with-foundation-models/

Bedrock は Amazon や主要な AI スタートアップ企業が提供する基盤モデル (FM) を API を通じて利用できるようにするサービスです。GA 時点で以下のリージョンで利用できます。

* us-east-1
* us-east-2
* us-west-2
* ap-southeast-1

Bedrock の魅力を体感するために Chanilit および LangChain を使用したサンプル Chatbot アプリケーションを作成しました。

https://github.com/Chainlit/chainlit

https://github.com/lan

Amazon Bedrock の GA による API 周りの変更点をまとめておく

## この記事の目的
2023/9/28 についに Amazon Bedrock が一般提供開始されました。自分の観測範囲で、Preview → GA のタイミングで API 周りでいくつか大きな変更が入っている様子です。

プレビュー期間中も LangChain などの周辺ライブラリでは Bedrock のサポート対応が進んでいました。GA 時の変更でメンテナー、コントリビューターの皆さんがすごい勢いで対応されています。

逆にいうと、現時点でサンプルコード等をググると Preview 時の古い情報がヒットする可能性も大いにあります。そのため賞味期限は短いと思いますが、変更点をまとめておくことで、自分や他のどなたかの参考になればと思います。

:::note warn
以降、2023/9/29 に確認した内容をもとに記載をしています。前述のとおり順次対応が進んでいるため、この記事を読んでいただいたタイミングによっては記載内容が陳腐化している可能性があります。
:::

## エンドポイントの分割と変更
モデルへの推論リクエストを行うための API アクションである `InvokeMo