- 1. AWSの公式ハンズオン集
- 2. [android java]AWSのAPIgateway + Cognito (Userpool + Idpool)を使用してみる v2
- 3. Win11のPCでdockerを利用して、aws のlambdaのレイヤーを作成した
- 4. 誰でも出来る「機械学習ワークフローを自動化する」 チュートリアルをもとに機械学習 (CI/CD)を理解する
- 5. AWS12冠になって1年間過ごした振り返り
- 6. Amazon Bedrock 全LLM 日本語能力比較（Mistral追加版）
- 7. RAG検索の精度向上!? ナレッジベース for Bedrockがハイブリッド検索に対応
- 8. Amazon Web Services 基礎からのネットワーク&サーバー構築 個人的に詰まったところ
- 9. AWS Database Migration Service(DMS)でDb2をS3に一括移行＆(CDC的な)継続的レプリケーションする
- 10. Cloud 9 でVSCodeを使う
- 11. [android java]AWSのAPIgateway + Cognito Userpoolを使用してみる v2
- 12. AWS CLF入門 – メッセージ編
- 13. python3.12 のLambda Layerの作成方法
- 14. AWS Service Catalogを理解する
- 15. コスト配分タグのアクティブ化をスケジュールで自動化する
- 16. Route 53の利用に必要な基本知識
- 17. Transit Gateway ConnectとCisco Catalyst8000VでBGP over GREを動かす
- 18. AWS ECSのハンズオンやってみた
- 19. AWSの生成AIで社内文書検索！ Bedrockのナレッジベースで簡単にRAGアプリを作ってみよう
- 20. Amazon Chime SDKのデモを使ってみた。
AWSの公式ハンズオン集
DVAの資格取得に向けてUdemyの試験問題を軽く解いてみたがAWSコードサービス周りの知識が曖昧なのでハンズオンとかでイメージ掴もうと調べてみた。
以下に公式のハンズオンが載ってあり、いくつかの個人情報入れると動画でハンズオンできるので、これでイメージが曖昧なサービスは手を動かして覚えるようにしておきたい
https://aws.amazon.com/jp/events/aws-event-resource/hands-on/
[android java]AWSのAPIgateway + Cognito (Userpool + Idpool)を使用してみる v2
## はじめに
Cognito認証を使用した各種サービスへのアクセスに非常に困惑したので備忘録として情報を記載する．
特にAWSMobileClientの仕様が理解できておらず困惑したので書き留めておく．※2024年1月頃に類似の記事をアップロードしたが，内容に誤りがあったためアーカイブした．こちらは改定版である．
## 何をするか
android環境で，APIgatewayに3つの状況でリクエストを送信する．
– 1.認証・認可なしの場合
– [こちらの記事](https://qiita.com/sanjolin_chun/items/832fb1c6edfb3ea10ed5)
– 2.AWS cognito userpoolを使用する
–[こちらの記事](https://qiita.com/sanjolin_chun/items/7d95184a355b9141c9cb)
– [改訂版はこちら](https://qiita.com/sanjolin_chun/items/1b37107d576a38841537)
– 3.AWS co
Win11のPCでdockerを利用して、aws のlambdaのレイヤーを作成した
四苦八苦したので備忘録代わりに。
そもそもなぜdockerを使おうとしたのか？
→lambdaのレイヤーに、moduleをインポートしたかったけど、
windows環境でpip installしたものを圧縮して、lambdaにアップロードしてもうまくいかなかったため。環境がwindowsで作成したものだとよくないとのことがあり、
aws のcloud9を使ってwin11でdocker
→起動できないHyperVプラットフォーム
の機能をONに
→できないBIOSのセットアップ画面から以下二つを有効化
・CPU
・virtualizaion再起動して、タスクマネージャ起動→パフォーマンス→右下に「仮想化：有効」となっていることを確認
→あらためてHyperVプラットフォーム
の機能をONにdocker-fileのコード
# syntax=docker/dockerfile:1
# Install necessary dependencies
FROM amazonlinux:2 as builder
RUN yum update -y && yum install
誰でも出来る「機械学習ワークフローを自動化する」 チュートリアルをもとに機械学習 (CI/CD)を理解する
機械学習って、何？SageMakerで何が出来るの？ChatGPTと何が違うの？
—
機械学習は、コンピューターシステムがデータから __パターンや知識を学習__ し、それを使って __タスクを実行するための技術__ です。具体的には、大量のデータを用いて __アルゴリズムを学習させ、未知のデータに対する予測や判断を行います。__ SageMakerは、Amazon Web Services（AWS）が提供する機械学習のためのマネージドサービスで、機械学習モデルの構築、トレーニング、デプロイメントを行うことができます。 __SageMakerは、データの準備からモデルのトレーニング、評価、デプロイメントまでのワークフローを効率化__ し、スケーラビリティやリソースの管理をサポートします。一方、ChatGPTは、OpenAIが開発した自然言語処理技術です。ChatGPTは大規模なデータセットを用いてトレーニングされ、テキスト生成、質問応答、文章要約などの自然言語タスクを行うことができます。ChatGPTは、対話形式での自然言語生成に特に適しており、質問応答、文章生成、対話型アプリ
AWS12冠になって1年間過ごした振り返り
# はじめに
今年も [2024 Japan AWS All Certifications Engineers 申し込みサイト](https://aws.amazon.com/jp/blogs/psa/2024-japan-aws-all-certifications-engineers-apply/) がオープンしました。私は昨年AWS12冠を達成し、昨年4月に [2023 Japan AWS All Certifications Engineers](https://aws.amazon.com/jp/blogs/psa/2023-japan-aws-all-certifications-engineers/) として表彰頂きました。社名のおかげでトリだったのでなんとなく得した気分になりました。ありがとうヘイシャ
昨年は「なぜ12冠を
Amazon Bedrock 全LLM 日本語能力比較（Mistral追加版）
Bedrockで使用可能なLLMとしてMistralが追加されたので、Bedrockで使用可能な全LLMに対して日本語で味噌汁の作り方を質問して日本語能力と知識を確認します。
:::note
LLMは日本語対応を謳ってなくても実際には使えたりします
::::::note
2024/3/2現在、LangChainは未対応の為、boto3を直接呼んでいます。
また、使用可能なリージョンはオレゴンのみなのでus-west-2を指定しています。
:::# Mistralの感触
8x7Bは日本語能力、知識ともに、Llama2やClaude Instantと同等程度かな～どうかな～、という感触です。
知識はともかく何せ安くて日本語能力はありそうなのと、入力可能トークンはLlam
RAG検索の精度向上!? ナレッジベース for Bedrockがハイブリッド検索に対応
日本時間2024/3/1（土）、こんな新機能が生えていました。
具体的な利用方法が少し分かりづらかったので解説です。https://aws.amazon.com/jp/about-aws/whats-new/2024/03/knowledge-bases-amazon-bedrock-hybrid-search/
# ナレッジベース for Bedrockとは？
生成AI利用時の「社内文書検索」（いわゆるRAG）機能をGUIで簡単に作成できてしまうAWSの機能です。
https://qiita.com/minorun365/items/24dfb0ea3afde6ed0a56
# 今回のアップデートは何が嬉しいの？
このナレッジベースが文書の検索時に「ハイブリッド検索」をサポートしたことで、ユーザーの質問に意味的に近いテキストのかたまり（チャンク）を引っ張ってくる際の精度が向上することが期待できます。
※ハイブリッド ＝ セマンティック（意味）検索とテキスト（全文）検索の双方の結果を比べて、「いいとこ取り」をしてくれる動作と想像しています。
> Hybrid Se
Amazon Web Services 基礎からのネットワーク&サーバー構築 個人的に詰まったところ
# 経緯
– 「Amazon Web Services 基礎からのネットワーク&サーバー構築 第4版」でインフラとAWSの基礎を勉強しています
– ハンズオンを進める中で詰まった箇所を備忘録的に残しておこうと思い記事を書いています# 詰まった箇所一覧&解決方法
## 第6章「プライベートサブネットを構築する」
### 4節「踏み台サーバーを経由してSSHで接続する」
– 「秘密鍵をアップロードする」でローカルPCからWEBサーバー用インスタンスに秘密鍵をコピーする際に失敗
– 実行コマンド
“`
scp -i local-key.pem local-key.pem ec2-user@instance_url:~/
“`– エラーメッセージ
“`
ec2-user@instance_url: Permission denied (publickey,gssapi-keyex,gssapi-with-mic).
lost connection
“`
– 解決方法：-rpオプションをつけることで解消（なぜ解消されたかは引き続き調べます・・・）
“`
scp -rp -i
AWS Database Migration Service(DMS)でDb2をS3に一括移行＆(CDC的な)継続的レプリケーションする
# はじめに
AWS Database Migration Service（以下、DMS）の設定方法や挙動を確認する目的で、Db2にあるデータをS3に連携できるかどうかを試した記録です。
# 前提
実施環境として、データソースとなるDb2はCloud Pak for Data上にデプロイされたものを使用しました。
Cloud Pak for Data：Version 4.7
Openshift：Version 4.12
Cloud：IBM Cloud
（外部公開用のPublic Load Balancer IPを使用して接続）[こちら](https://docs.aws.amazon.com/ja_jp/dms/latest/userguide/CHAP_Introduction.Sources.html#CHAP_Introduction.Sources.title)を見ると2024年3月1日現在DMSがデータソースとして対応しているDb2のバージョンが確認できます。
– IBM DB 2 for Linux、UNIX、および W
Cloud 9 でVSCodeを使う
:::note warn
やってみたらできました。
実用的ではないと思います。
:::Cloud 9を起動します。
VSCodeのCLI版をダウンロードします。
“`shell
curl -L “https://code.visualstudio.com/sha/download?build=stable&os=cli-alpine-x64” -o vscode_cli_alpine_x64_cli.tar.gz
“`展開します。
“`shell
tar zxvf vscode_cli_alpine_x64_cli.tar.gz
“`場所を移動します。
“`shell
mkdir -p ~/.local/bin
mv code ~/.local/bin/
“`VSCodeをサーバーとして起動します。ポート番号はCloud 9の仕
[android java]AWSのAPIgateway + Cognito Userpoolを使用してみる v2
## はじめに
Cognito認証を使用した各種サービスへのアクセスに非常に困惑したので備忘録として情報を記載する
特にAWSMobileClientの仕様が理解できておらず困惑したので書き留めておく．※2024年1月頃に類似の記事をアップロードしたが，内容に誤りがあったためアーカイブした．こちらは改定版である．
## 何をするか
android環境で，APIgatewayに3つの状況でリクエストを送信する．
– 1.認証・認可なしの場合
– [前回の記事はこちら](https://qiita.com/sanjolin_chun/items/832fb1c6edfb3ea10ed5)
– 2.AWS cognito userpoolを使用する
– いまここ
– 3.AWS cognito userpool + idpoolを使用する
– [記事リンク](https://qiita.com/sanjolin_chun/items/b47b1ccf536b3c4324f0)本記事では，2のcognito userpoolを使用する場合について解説する．
前
AWS CLF入門 – メッセージ編
## はじめに
AWS CLF (AWS Certified Cloud Practitioner) を取得した際の学習記録をアウトプットとして以下に記す。## リンク
[ネットワーク](https://qiita.com/yashiuri/items/31b2c9c3c49c2584cd01)
[セキュリティ](https://qiita.com/yashiuri01/items/73e5310b09ff41912862)
[コンピューティング](https://qiita.com/yashiuri01/items/9eaf71a1590e7815f9ef)
[コンテナ](https://qiita.com/yashiuri01/items/708b57ee179ae29e72a9)
[スケーリング](https://qiita.com/yashiuri01/items/79050093aff66b0f0665)
[ストレージ](https://qiita.com/yashiuri01/items/6d48d81f5a1651dcc999)
[データベース](https://q
python3.12 のLambda Layerの作成方法
# 初めに
Lambda のPython 3.12 対応につき、Layer の作成方法を調査したので**備忘録的に残します**。
基本的にはpython3.11 の時と変わらないと思いました。:::note
– .zip形式での作成 とします
– コンテナでの作成方法は対象外
:::https://aws.amazon.com/jp/about-aws/whats-new/2023/12/aws-lambda-support-python-3-12/
ポイント
– Python3.12 はAmazon Linux 2023で動く
– Windows環境でのLayer 作成は困難なので、Windows環境しかない人はどうにかLinux環境を構築する# 作業の大まかな流れ
大まかな流れは以下の通りです：
– Lambda実行環境の確認
– (Linux 環境を入手)
– Python3.12 と必要なパッケージのインストール
– 目的の pip のパッケージをディレクトリににインストール
– レイヤーの作成Linux 環境が無い場合は Cloud9 が手っ
AWS Service Catalogを理解する
# 初めに
Control Towerの設定を行う時や資格勉強している時にちょくちょくService Catalogが登場してきたのですが、いまいち理解しきれていない気がするので、実際に触りながら理解してみようと思います。# AWS Service Catalogとは
AWSのドキュメントでは以下のように記載されています。>Service Catalogを使用すると、組織は承認された IT サービスのカタログを作成および管理できます。
組織は一般的に導入されているITサービスを一元管理でき、組織が一貫したガバナンスを実現し、コンプライアンス要件を満たすのに役立ちます。エンドユーザーは、組織によって設定された制約に従って、必要な承認済みの IT サービスのみをすばやくデプロイできます。OrganizationsでAWSアカウントを管理している時に、メンバーアカウントにデプロイさせたいものをカタログとして登録して管理アカウントから作成できるようにするサービス、みたいなイメージになるでしょうか。
https://docs.aws.amazon.com/ja_jp/service
コスト配分タグのアクティブ化をスケジュールで自動化する
# 初めに
Organizationsで管理するコスト配分タグについて、アクティブ化漏れを防ぐためにスケジュールで有効化する機会があったのでその内容について記載します。# コスト配分タグとは
タグはAWSに割り当てるラベルで、キーと値から構成されます。
タグを割り当てておくことでAWSのコストについてもタグごとに管理することができます。
逆にタグがついていないと詳細にコストを追うことが困難になることがあるので注意が必要だと思います。https://docs.aws.amazon.com/ja_jp/awsaccountbilling/latest/aboutv2/cost-alloc-tags.html
# 構成
本当はコスト配分タグが追加される度に有効化ができればよかったのですが、そのやり方は難しそうだったのでコスト配分タグの有効化を行うLambdaをEventBridgeでスケジュール実行する形をとりました。
Lambdaで実行するコマンドは以下の2つです。https://docs.aws.amazon.com/aws-cost-management/latest/
Route 53の利用に必要な基本知識
## はじめに
Route 53って、初心者にとってかなり難しくないですか？
何をしているのかイメージが湧きにくく、私もかなり苦戦しました。そこで、Route 53に必要な名前解決の基本知識とともに、ざっくり解説したいと思います。
# DNSとは
DNS（Domain Name System）は、ホスト名とIPアドレスを紐づける仕組みです。ホスト名からIPアドレスを求めることを名前解決といいます。
* 正引き：ホスト名からIPアドレス
* 逆引き：IPアドレスからホスト名## DNSの構成要素
DNSは以下の要素で構成されています。
2024年現在、.co.jpサーバはjpサーバに統合されているため、下記の図は正確には正しくありません。
# Route 53の概要
Route 53は、AWSが提供するDNSサービスです。主
Transit Gateway ConnectとCisco Catalyst8000VでBGP over GREを動かす
# はじめに
Transit Gateway Connectのリリースにより、Transit Gatewayと仮想ルータ間で直接GREトンネルを形成することが可能になりました。GREトンネル内でBGPを動作させることで、経路が冗長化されたダイナミックルーティングプロトコルドメインをオンプレミスからTransit Gatewayまで拡張することができ、ネットワークエンジニアにとってシンプルなネットワーク設計が実現できます。[Simplify SD-WAN connectivity with AWS Transit Gateway Connect](https://aws.amazon.com/jp/blogs/networking-and-content-delivery/simplify-sd-wan-connectivity-with-aws-transit-gateway-connect/)
# Transit Gateway Connectを形成する要素
Transit Gateway Connectは、従来のTransit Gatewayにはない新しい要素を含むコンポーネン
AWS ECSのハンズオンやってみた
## はじめに
案件などでECSを使うことは多々あったのでコンテナって便利な概念だけど、インフラとして構成することができてもよく考えたらコンテナの中身ってどうなってるかよくわからない気がする。。。
ということで AWS が提供している ECS ハンズオンをやってみました。https://pages.awscloud.com/JAPAN-event-OE-Hands-on-for-Beginners-ECS-2022-reg-event.html
今回実施したハンズオンの流れとしては、以下のようになっています。
1. 準備
1. コンテナイメージ作成
1. ECSの作成
1. 自動復旧確認
1. リソース削除
※この記事では公開されているハンズオンと順番を入れ替えたり、省いて実施している部分があります。おまけ(なんなら本編)として、2/5に公開されCloudFormationで管理外のリソースをCloudFormationのスタックとして取り込める機能が気になっていたのでついでに試してみました。良かったら最後までお読みください。
https://aws.amazon.com
AWSの生成AIで社内文書検索！ Bedrockのナレッジベースで簡単にRAGアプリを作ってみよう
# この記事について
AWSコミュニティ最大級のイベント「JAWS DAYS 2024」内のワークショップにて実施予定のハンズオンコンテンツとなります。
https://minorun365.connpass.com/event/309029/
イベントでは口頭で説明しながら実施しますが、この記事さえ読めば誰でも体験できるように作っていますので、当日イベントにお越しになれない方もぜひご活用ください。（スムーズにいけば30分程度で完了します）
:::note warn
本ハンズオンの実施にあたり、多少の課金（数十円〜数百円以内）が発生することをご了承ください。実施後には忘れず不要なリソースの削除をお願いします。なお、Bedrockのモデル呼び出し料金はAmazon製のTitanシリーズを除き、マーケットプレイス扱いとなるためAWSクレジット（クーポン）の適用範囲外となります。
:::※事前にAWSアカウントの作成をお願いします。クレジットカード情報が必要です。ログイン用のEメールアドレスとパスワードをお忘れなく！
https://aws.amazon.com/jp/re
Amazon Chime SDKのデモを使ってみた。
環境
Windows11
wsl2https://github.com/aws/amazon-chime-sdk-js
上記からプログラムコード取得公式ドキュメントから
cd demos/serverless
以下2行は公式ドキュメントに記載されてない
template.yamlの46行目あたりで
Runtime: nodejs14.x => Runtime: nodejs20.xに変更npm install
npm run deploy — -r us-east-1 -b-i af-south-1,eu-south-1 -s -a meeting これで、行けた！
だめなら全て削除して git colenするとなぜか行ける。
