AWS関連のことを調べてみた

AWS re:invent 2023体験レポート

## はじめに
AWS re:invent 2023に初めて参加した体験レポートです。
実際に組んだ旅程、事前準備、おすすめの回り方、Tipsなどを書いています。

## 旅程
| 日付 | 内容 |
|:-:|:-:|
| 11/26 | Tokyo 21:05発 ⇒ ( Los Angeles 14:05着 & 18:45発 )　⇒ Las Vegas 20:01着 |
| 11/27 | AWS re:invent 1日目 |
| 11/28 | AWS re:invent 2日目 |
| 11/29 | AWS re:invent 3日目 |
| 11/30 | AWS re:invent 4日目 |
| 12/1 | AWS re:invent 5日目　Las Vegas 発16:50 |
| 12/2 | ( Los Angeles 18:06着 & 00:05発 ) |
| 12/3 | Tokyo 05:30着 |
## 事前準備
### 事前作業
| 日付 | 内容 | 備考 |
|:-:|:-:|:-:|
| 渡航前 | (AWSの資格取得) | 資格があ

Aurora Serverless v1のリスト化方法

Aurora Serverless v1がサポート切れです。

v2と設定パラメータが異なるので地味に探しづらい代物

AWS Config Advanced Queryを使うなら

“`sql
SELECT 略
WHERE
resourceType = ‘AWS::RDS::DBCluster’
AND configuration.engineMode = ‘serverless’

“`

インスタンスではなくDBClusterを検索するのがポイントです。
v2のほうはインスタンスで検索できます。

AWS Certified Solutions Architect – Professional (SAP-C02) に合格しました

SAP-C02に合格しました。
こちらに記録と感想を記載します。

# 受けた試験
* SAP-C02( AWS Certified Solutions Architect – Professional )
* 受験日: 2023-12-27
* 受験者スコア: 756/1000

# 感想
想定以上に難易度が高く大変苦労しました。試験終了時には落ちたなと思って落胆していました。合格できたのは運が良かったのかもしれません。

自分的には、
* 長めの問いの文章から重要なポイントを抜き出し、要件を素早く理解する。
* 回答の選択肢から間違いが含まれるものを除外して、ベストプラクティスに沿ったもの、場合によってはベストプラクティスではないが妥当なものを探して早く回答する。
* これらを75回、3時間繰り返す。

このパターンの試験は苦手だなと感じました。

180分は相当長く感じました。集中力が切れるし、2時間経過したくらいでトイレに行きたくなって汗が出ました。
特に “複雑な組織に対応するソリューションの設計” は何度繰り返し勉強しても苦手意識が強くて、公式ドキュメントや本を読んで理解し

アップロード画像を全消しした話

# S3のコンテンツを管理したい

そのWebサービスでは画像やJS、CSSなどの静的リソースをAWSのS3に上げて利用していたのですが、マネコンから手動でアップロードしている状態でした。
そのため、量が多いと作業も大変ですし、抜け漏れなどの人的ミスも発生していました。

元々その静的リソースはgitにも保存していたので、gitで管理しているリソースをawsのcliで `aws s3 sync` で同期した方が確実だし楽じゃん！、と思いデプロイ手順を変更しました。

# gitとs3の手動同期

そもそも今gitとs3の中身って本当に同じなの？、という疑惑があったので、 `aws s3 sync` で全差分を出して一つずつチェック。
S3にしかないもの、gitにしかないもの、これどこで使ってるの？、みたいなファイルが山ほどあり、調整は時間を要しましたが、基本はS3に上がっているものが正なので、差分はS3のものを残す方針で、どうにかgitとS3のリソースを完全一致させることができました。

# デプロイ手順の変更

– dryrunで差分を確認。ルートパスでやると余計な差分出てしまうかも

SageMakerのリアルタイム推論エンドポイントで使用しているPythonパッケージの一覧を取得する

# はじめに
SageMaker のリアルタイム推論エンドポイントで使用している（モデルコンテナにインストールされている）全ての Python パッケージの、パッケージ名とバージョンの一覧を取得したいというタイミングがありました。

その際にやったことをまとめます。

# やったこと
リアルタイム推論エンドポイントの推論コード（カスタムスクリプト）内に、以下の Python コードを仕込んで推論を実行すると、ログ（CloudWatch Logs）に“pip freeze“の形式で結果が出力されます。

“`Python
import subprocess
result = subprocess.run([‘pip’, ‘list’, ‘–format’, ‘freeze’], stdout=subprocess.PIPE, text=True).stdout
print(result)
“`

また、エンドポイントから S3 へアクセス可能な場合、以下のように S3 へテキストファイルを出力することもできます。
“`Python
import boto3
import

EC2でk8s構築時に、Too Many Open Filesエラーの対応(忘備録)

# 前編
https://qiita.com/wk0012345/items/83385bd99d837bc79cdd

# 経緯
1. Fluent Bitを起動した後、開発者のための環境を増やしたときに、ログを収集するインスタンスが多くなり、一部のPODが起動してなかった
“`
…エラー…
2023/12/27 12:09:25 too many open files
…エラー…
“`

# 対応
下記の二つのファイルを確認し、制限されている数値を増やすことで解決

1. max_user_watchesを確認
“`
$ cat /proc/sys/fs/inotify/max_user_watches
“`

1. max_user_instancesを確認

“`
$ cat /proc/sys/fs/inotify/max_user_instances
“`

1. 自分の場合、二つのファイルの中で、`max_user_instances`が 128になっており、これ

【初心者】Knowledge base for Amazon Bedrock を使ってみる

# 1. はじめに
– 社内にナレッジベースがあり、文書の検索にはキーワードによる全文検索などを使用しているが、なかなか目的の情報が見つけられないという課題がある。
– 検索性を高める方法の検討のため、予め蓄積したデータに対して自然言語で検索できる仕組みである「Knowledge base for Amazon Bedrock」を試用し、どんな感じで検索できるのかを確認する。

# 2. やったこと
– 今回は練習のため、聖闘士星矢に関する文書(Wikipediaから)をS3に保存する。
– Knowledge base for Amazon Bedrockを作成し、保存した文書に対するベクトルデータベースを作成し、自然言語検索を可能にする。
– Lambda functions URLを作成し、インターネット経由での検索を可能にする。

# 3. 構成図

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/189302/b41b266e-95a0-a294-16ad-ae8c5efa05c

【Terraform】VPC環境を構築してみた

## 目的
Terraformの学習を始めたので、初回アウトプットとして以下構成図の簡単なVPC環境を作成してみました。

今回のルートテーブルは、public-subnetからtest-igwへのデフォルトルートのみ設定しており、private-subnetは空の状態としてます。

## VPCについて
AWS上の仮想ネットワーク環境
1リージョンにつき最大5つまで作成可能
設定可能なアドレスレンジは/16～/28

## サブネットについて
ベストプラクティスは冗長構成をとるマルチAZ構成

サブネットにはルートテーブルがアタッチされており、インターネット通信が必要な場合、パブリックサブネットにはIGW、プライベートサブネットにはNatGWのデフォルトルート設定が必要

### 設計時の注意点
IPアドレスは余裕を持った範囲

【AWS】VPCエンドポイントについて

## 【背景】

普通の人は当たり前に理解して、使用しているVPCエンドポイントについて、
私は、「エンドポイントってなんのエンドやねん」とあほみたいな詰まり方をしてしまったので、調べた内容を記載する。

:::note info
※あくまで用語理解のためのメモです。
　設定方法には触れてません。
:::

## 【VPCとは】

AWSのVirtual Private Cloud（VPC）は、クラウド内でユーザー定義の仮想ネットワークを提供するサービスである。

VPCを利用することで、AWSリソースを自分の仮想ネットワークに配置し、IPアドレス範囲の選択、サブネットの作成、ルートテーブルやネットワークゲートウェイの設定が可能となる。

これにより、セキュリティや接続性の高いネットワーク環境が構築できる。VPCは、クラウド上のプライベートなセグメントを作成し、安全なクラウドコンピューティング環境を提供するために重要な役割を果たす。

## 【VPCエンドポイントとは】

VPCエンドポイントとは、AWS固有の用語で、VPC内のリソースがAWSサービスやVPC外のサービスにプライベ

GitLab起点でCloudFormationを更新するGitOpsを実現したい

# はじめに
この記事はDevOps on AWS大全 実践編の一部です。
DevOps on AWS大全 実践編の一覧は[こちら](https://qiita.com/tech4anyone/items/c27e74f9ae569ced259f)。

この記事ではGitLab起点でCloudFormationを更新するCICDパイプラインのアーキテクチャを決める流れを解説しています。

具体的には以下流れで説明します。

– 解決したい課題の整理
– 今回使うAWSサービスの整理
– アーキテクチャの策定
– 策定したアーキテクチャで達成できたこと

AWSの区分でいう「Level 400 : 複数のサービス、アーキテクチャによる実装でテクノロジーがどのように機能するかを解説するレベル」の内容です。

# この記事を読んでほしい人
– DevOpsエンジニアがアーキテクチャを決めるときにどのような思考フローを踏んでいるか知りたい人
– CloudFormationを更新するCICDパイプラインのアーキテクチャを知りたい人
– AWS Certified DevOps Engineer

Stable Diffusionで空いた時間にLineスタンプ大量生成！

こんにちは、ひよっこエンジニア兼デザイナーのウエハラ　シンペイです。

プログラミングを初めて早１ヶ月。今回は話題のAIを使って何かできないかと思い、空いた時間にLineスタンプメーカーを作ってみようと思います！レッツ小銭稼ぎ！

# Stable Diffusion×Lineでスタンプ用のイラストをつくる
色々方法はあると思うのですが、今回は基本のプロンプトを記述して、なおかつ空き時間にサクッと送って置けるようにLine Message APIを使って構築していきます。


# 1.Hugging Faceでアカウント作成

[Hugging Face](URL “https://huggingface.co/”)でアカウント作成し、導入方法や使用する上でのライセンスについてを調べると、アクセストークンの発行をしました。モデルについてはStab

AWS SAM CLIインストールではまったこと。（メモ）

VScodeでLambda関数を作成してデプロイする事を勉強する為
AWS SAM CLIをインストールしました。
環境はWindows 11です。
AWSの公式サイトを参考にインストールしたのですが、sam –versionを実行しても何も表示されません。
パスを通してないのが原因だと思い
withch samを実行して確認して、そのパスを環境変数に登録。
再起動かけても変わらない。
調べたら、
C:\Program Files\Amazon\AWSSAMCLI\binの配下にsam.cmdとsam.exeが入っていないといけないらしい。
sam.cmdはあるがsam.exeがない。
sam.exeがないとコマンド打っても動作しないらしい。
アンインストールして

[AWS SAM CLI 再入門 2021.08](https://qiita.com/hayao_k/items/7827c3778a23c514e196)
の記事を発見。

この記事を参考にpip installを実行したら、正常にインストールできました。

QuickSightの利用IAMロールをデフォルトから変更してAthena にアクセスする

# はじめに
最近、AWSサービスの主となる部分よりも、その権限管理をどうやるかの方に興味を惹かれる私です。今回は、QuickSightのアクセス権限の管理を色々カスタマイズしたので、備忘として書いておきます。

# やりたいこと
以下のように、QuikciSightは既存の専用ロール `aws-quicksight-service-role-v0` に対して、コンソールの管理画面から権限を付与します。**直接ロールを編集することはしません**。

[Amazon QuickSight アカウント/ユーザー管理におけるポイント](https://pages.awscloud.com/rs/112-TZM-766/images/%5B%E7%AC%AC%E4%B8%80%E9%83%A8%5DAmazonQuickSight%E3%82%A2%E

Amazon Kinesis Data Firehose zero bufferingを試してみた

# 背景・目的
本日、[Amazon Kinesis Data Firehose now supports zero buffering](https://aws.amazon.com/jp/about-aws/whats-new/2023/12/amazon-kinesis-data-firehose-zero-buffering/)が発表されましたので、簡単に特徴を整理し、試してみます。

# まとめ
– Kinesis Data firehoseではZero bufferingがリリースされました。これにより、0秒〜900秒まで選択ができるようになりました。

# 概要
今までは、最低60秒間のバッファだったが、更にリアルタイム性を求める場合は、バッファリングしない（ゼロバッファリング）がサポートされるようになったようです。
変換など追加の処理が行われない場合は、ほとんどのワークロードでは5秒以内に配信されるとのことです。

# 実践
## KDFの作成（60秒）
まずは、以前の60秒で試してみます。
1. KDFのトップページで「配信ストリームを作成」をクリックします。
1.

SageMakerのリアルタイム推論エンドポイント（Pytorch）のリクエスト時にカスタム属性を渡す

# はじめに
SageMakerのリアルタイム推論エンドポイント（フレームワーク：Pytorch）に対して推論リクエストを行う際に、Content-Typeヘッダーやリクエストボディのような必須の情報とは別に、追加の情報（以下カスタム属性と呼びます）を付与してリクエストしたいという場面がありました。

SageMakerのリアルタイム推論エンドポイント（フレームワーク：Pytorch）にカスタム属性を渡す方法について、AWSの公式ドキュメントには明確な記載がないのですが、色々試行錯誤しているうちに渡すことができたので、まとめます。

# 結論
クライアント側では、以下のようにリクエストします。
“`Python
import boto3

sagemaker_runtime_client = boto3.client(“sagemaker-runtime”)

response = sagemaker_runtime_client.invoke_endpoint(
EndpointName=”<リアルタイム推論エンドポイントの名前>“,
ContentType=”<リ

LINEからのBedrockエージェント呼び出し② 音声で答えてもらう

前回作った以下のAgentアプリケーションについて、せっかくなので回答内容を音声でしゃべってもらい、偽クサっぽくしてみます。

https://qiita.com/cyberBOSE/items/4a09d4593b44bb5ac49f

乗換案内だけをしゃべらせるのもアレなので、今日のニュースも読み上げられるようにしてみます。


Agentにニュースを取得するAction groupを追加します。
Agentの生成結果をPollyに渡し音声を生成してmp3ファイルを生成、S3 Express One Zoneに書き込んで署名付きURLを発行してLINEに返却します。

以下のテキストを音声に変更する感じです。

これが
AWS DEA(Beta)受験記(2023/12/27投稿)

# はじめに
この度AWS認定のDEA(Data Engineer Associate)を受験してきましたので、勉強した内容と受験した感想を書いておきます。
結果はBeta終了後から約90日後に通知されるので、結果が来たら追記します。(多分ダメそう)

※試験内容には言及できないので、本記事では勉強方法や受験した感想が中心となります

# 前提
* AWSのデータ分析基盤は実務経験あります
* AWS認定は全て取っています(詳細は[こちら](https://qiita.com/handy-dd18/items/d21d914bf1c475d777f2))　※PASは[こちら](https://qiita.com/handy-dd18/items/18e8a856906f97bbb964)
* 2023年11月にDAS更新しました([こちら](https://qiita.com/handy-dd18/items/c07088ee2f17dd3fa487))
* Microsoft：AZ-900/AZ-104/AZ-700/AZ-305/AZ-204/DP-900/AZ-500/DP-20

【AWS】Amazon Linux 2023 DockerのPythonバージョンアップ

# はじめに

　Amazon Linux 2023 をベースとした Docker イメージ作成時に Python バージョンアップを行うための Dockerfile について書きます。
　Python バージョンアップ方法はこちらを参考にしました。

https://note.com/yuu________/n/nbe90710b842b

# Dockerfileの書き方

まず、Amazon Linux 2023 の Docker コンテナの Python バージョンを確認します。 `3.9.16` となっています。

“`
[ec2-user@ip-172-31-13-197 ~]$ docker run -it amazonlinux:2023 /bin/bash
bash-5.2# python3 –version
Python 3.9.16
bash-5.2# python –version
bash: python: command not found
“`

次に、以下の Dockerfile を作成します。Python は `3.11.0` をインストール

AWS Ambassador Japan Meetup Event with NTT DATA Nov.2023に参加しました

# 第１部　The community activities about AWS for each countries
イタリア、スペイン、ドイツ、日本のNTT DATA社員の方々から貴重なお話を伺うことができました。

NTT DATAさんは、情報発信とコミュニケーションを重要視していらっしゃることがわかりました。AI技術を活用した環境に配慮したITサービスの提供によって、持続可能な未来への貢献と革新的なアイデアの創出にも取り組んでいらっしゃるみたいです。
また、柔軟な働き方と国際的な協力について魅力を実感し、異なる文化との協力によって視野が広がっていることを感じました。

日本のユーザーコミュニティも世界に負けることなく拡大を遂げていることが伺えました。コミュニティはお互いの価値観や知識を共有する重要な場であり、共に学び合い、成長し合える場なので、私も積極的に参加していこうと思います。

![IMG_0125.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3617930/83f10cd5-29a4-

Amazon Qとは :AIチャットボット

## Amazon Qとは
Amazon Qは、Amazon Web Services (AWS) が提供するビジネス向けのAIチャットボットです。

企業データと専門知識を活用して、特定のビジネスニーズに応じたサポートを提供することができます。セキュリティとプライバシーにも配慮されており、企業のポリシーやデータアクセス制限に適合するように設計されています。

https://aws.amazon.com/jp/q/?sc_icampaign=launch_reinvent23-amazon-q&sc_ichannel=ha&sc_icontent=awssm-4017_launch_reinvent23&sc_iplace=hero&trk=46b249b4-5ba5-4977-8b58-b606ed83594d~ha_awssm-4017_launch_reinvent23

https://zenn.dev/d2c_mtech_blog/articles/13cb85ed161f5b#%E3%81%93%E3%82%93%E3%81%AA%E4%BD%BF%E3%81%8