AWS関連のことを調べてみた2023年07月25日

AWSでrinnaの日本語GPT-2モデルとおしゃべりするLINE Botを作る

# 概要
[FlaskでAIとおしゃべりするインターフェースを作る](https://qiita.com/MokonaSato/items/09ba9e5e21698cd21a52)で登場した、私がファインチューニングしたrinnaの日本語GPT-2モデル（以下、もこなGPT）とおしゃべりできるLINE Botを作りました。
参考にした記事と開発中に私がつまづいたところをまとめます。

# 使用言語、ライブラリなど
– Python 3.9
– torch 1.13.1
– sentencepiece 0.1.97
– transformers 4.26.0
– AWS SAM CLI 1.90.0
– line-bot-sdk

使用したPCはMacbook Air（M1チップ）です。

#

Redshift Serverless その2

Redshift Serverlessを使って気づいたことを書きます。その2です。

# 使ってないはずなのに料金が、、、
あるとき何もつかってないはずなのに、結構な額の料金が発生していることに気付く。
気づいたのはAWS Budgetsの予算通知ルールをつくっていたから。ギリギリセーフ。

確認すると、特に処理をしていないはずなのにRPUがBase Capacityの値で張り付いていた。
# 原因
以下の4つが重なって、Serverless上で”トランザクション”が1週間近く実行されたままだった模様。

1.Redshift Serverlessはトランザクション実行中はRPUが使用される。(=料金が発生する)
https://docs.aws.amazon.com/ja_jp/redshift/latest/mgmt/serverless-billing.html
2.接続に使っていたツールをauto commit OFFで使っていた。(=selectしただけでトランザクションが開始され、commit/rollbackするまで

[AWS IAM Identity Center] SSO環境下でAWS CodeCommitの認証を行う

※この記事は[自分のブログ](https://blog.morikapu.com/awssso-with-awscodecommit/)から持ってきたものです。Qiitaにも残しておきたいため投稿しています。

会社などでAWS IAM Identity Center + SSOを使用しているときにちょっと躓いたのでメモ。
AWS Cliなどはインストールしてある前提とする。

# 環境
Windows + Git for Windows + AWS Cli

# 1. SSOの設定
コマンドプロンプトで以下を実行
※aws configure sso はGit Bashでは実行できないので注意
“`
aws configure sso
“`

質問にいくつか聞かれるので入力していく。
SSO Start URLなどはAWS IAM Identity Centerポータルページで「Command line or programmatic access」を押すと表示される。
“`
SSO session name (Recommended): <適当な名前>
SSO start U

【AWS Lambda】複数のLamda関数を１つのコンテナイメージにまとめる

## 目的
1つのイメージ内に複数のLambda関数をまとめて管理したかったので、その方法をまとめました。Lambda関数の作成時にエントリポイントを指定することで実現可能です。

## ローカル環境の準備

– フォルダ構成
root/
　├ Dockerfile
　├ main1.go
　├ main2.go
　└ main3.go

– Dockerfile作成
“`docker:Dockerfile
# ベースイメージの指定とビルドステージの開始
FROM golang:1.17-buster as builder

# 作業ディレクトリの設定
WORKDIR /go/src/lambda

# 依存関係のダウンロード
COPY go.mod go.sum ./
RUN go mod download

# ソースコードのコピー
COPY ./ ./

# ビルドの実行
RUN go build -o function1 ./main1.go
RUN go build -o function2 ./main2.go
RUN go build -o function3 ./m

東京リージョンにやってきた MySQL HeatWave on AWS を試す (3) バックアップをリストアしてサイズを変えてみる編

こちらの記事の続きです。

– **[東京リージョンにやってきた MySQL HeatWave on AWS を試す (2) サンプルクエリ実行編](https://qiita.com/hmatsu47/items/0979f877ad596cf3cf67)**

https://qiita.com/hmatsu47/items/0979f877ad596cf3cf67

現状、MySQL HeatWave on AWS のシェイプサイズや HeatWave Cluster 構成を変えるには、(1) に記したとおりバックアップからのリストアかダンプデータのインポートが必要です。

今回、実際にバックアップからのリストアにあわせてシェイプサイズや HeatWave Cluster 構成を変更し、(2) と同じクエリの所要時間を比較してみました。

## バックアップをリストアする

マネージドサービスですので手順は簡単です。

### 一覧から対象バックアップを選択

![image.png](https://qiita-image-store.s3.ap-northeast-1.ama

IMDS Packet Analyzerについて調べてみた

# はじめに
IMDS Packet Analyzerが6月に登場したので、どんなサービスか調べてみました。

https://aws.amazon.com/jp/about-aws/whats-new/2023/06/imds-packet-analyzer-simplifies-migration-imdsv2/

そもそもIMDSが何かすらわかっていなかったので、以下を参考にIMDSについてまとめます。

https://dev.classmethod.jp/articles/ec2-imdsv2-release/

https://dev.classmethod.jp/articles/imds-packet-analyzer-simplifies-migration-imdsv2/

# Instance Metadata Service（IMDS）とは
インスタンスメタデータは、OS上から取得できるEC2のメタデータ情報です。
インスタンスIDやインスタンスタイプ、AZなどを確認できます。
IMDSは、169.254.169.254というリンクローカルIPで動作しています。

Amazonエンジニアの年収上限が4000万円にアップした背景まとめてみた

https://oceans.tokyo.jp/article/detail/36460

2022年2月からアメリカのAmazonで働くエンジニアや管理部門で働くスタッフの基本給の上限が4000万まで引き上げされたのなんで？と思ってまとめています！！

しかもこの4000万に引き上げられたのは、マネージャー、ディレクターなどの管理職を除く一般社員だというから驚きです。。
基本年収の他にも、入社時の一時金や譲渡制限付株式ユニットなども含まれるため、実際の支給額はさらに増える見込みで、改善前と比べると約2倍の給料増額になっています。。

Amazonすごい！ってなるところですが、実はこれでも他Apple、Googleなどのライバル企業に比べると若干劣勢になるのだとか。
他大手の企業も特別賞与を支給したりしているそうです。

##

Redshift Serverless その1

Redshift Serverlessを使って気づいたことを書きます。

# 思ったよりスケールしない
勝手にスケールするなら、Base RPUは8でいいよねと設定
実際に使ってみたらあれ？遅い。
Cloudwatchを見ると全然スケールしていない。　　
疑問に思ったのでいろいろ試してみる。 (ちなみに試したのは2023年の3月なのでまた挙動は変わっている可能性もある)

負荷のかかるようなデータとSQLを準備するのはしんどいので、AWSのブログで紹介されているTPC-DSベースのRedshift用のDWHベンチマークを使用
https://github.com/awslabs/amazon-redshift-utils/tree/master/src/CloudDataWarehouseBenchmark/Cloud-DWB-Derived-from-TPCDS

とりあえずデータはお金があまりかからないように1TBでBase RPUと並列度を変えながらスケールするか試してみる。
※画面はAWSコンソールのRedshift Serverlessのモニタ画面

![imag

そこら辺の学生が学んだRDS運用

# この記事で書かないこと
– アーキテクチャ等は記事が数多くあるため触れません。
– コスト関連
– 実際の手法
– 法律やコンプライアンス関連
– aws, terraformなどツールの使用方法

# なぜ・何を書くのか？
## なぜ
SREでインターンをしていて、社会人になる前にDBの運用業務まで知っておきたいと感じたからです。
運用業務のイメージを掴むことをモチベーションにしています。

また、同じエンジニアを目指す学生の参考になればと思いterraformの[サンプルコード](https://github.com/naruse666/rds-ops)を提供します。
※awsのシェア率が高いためRDSを使います。

## 何を
そもそもDBの運用業務の概要を説明できる自信がないためChatGPTに聞いてみました。
“`
Q) データベースの運用や保守では何が行われますか？

A) データベースの運用や保守は、データベースの正常な動作を確保し、データのセキュリティと可用性を維持するために行われる重要な活動です。以下に、一般的なデータベースの運用や保守で行われる主な活動を挙げて

【備忘録】AWS EC2 起動テンプレートからインスタンスを起動する時にボリュームが表示されない

## 背景
起動テンプレートを作成したインスタンスを起動する際にあれ？ということがあったため、備忘録として記載しておく。

## 1.起動テンプレートからインスタンスを起動しようとすると・・・
起動テンプレートからインスタンスを起動しようとすると、ストレージには下記のようなコメントが表示され、起動テンプレート通り設定されているか分からない状態になった

## 2.起動テンプレートの設定確認
下記画像のようにストレージの設定が存在する

## 3.そのまま起動してみた
起動テンプレート通りの設定で起動でき

スプリント0

aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa

【個人開発】AWSサービスの学習メモ共有アプリを作ったの、な～ぜな～ぜ？

# どんなアプリ？

アプリ開発たのしいでちゅ！
自分のAWSサービスのメモやナレッジを公開して共有するWebアプリを作りました?

**Learners AWS Note**

https://learnersaws.com/

# 機能

## 学習ノート

ノートを取りながら勉強できます！


## タイムライン⏰

タイムラインでいろんな人の学習ノートを見ることができます！


以上です！よかったら使ってください?

【合格体験記】AWS認定ディベロッパーアソシエイトに合格しました

AWS認定ディベロッパーアソシエイトに合格しました。また、少し前に、3年ぶりにSAAを更新しました。AWSの知識をアップデートする中で、SAAだけでなく、DVAも取得を目指しました。SAAとは分野が違うので、新しい知識を身につけることができました。DVAも有効期限があり今後更新が必要になるので、備忘録として残しておきます。

AWS Certified Developer – Associate（DVA-C02）の説明はこちらを参照してください。

https://aws.amazon.com/jp/certification/certified-developer-associate/

# 前提
・AWSの実務経験はほぼなし
・CLFは取得済(19年12月・22年8月)
・SAAは取得済(20年2月・23年2月)

# 目的
・AWSはアップデートが早く、知識を刷新した方がいいかなと思ったため
・開発よりの知識も習得したいと思ったため。
・後輩も取得していたため。

# 勉強方法・期間
SAAを更新したときと同じ勉強方法で挑みました。問題演習を数こなしていくスタイルです。

・[T

スナップショットよりバックアップを復元する方法【EC2インスタンス】

# ■概要
今の所あまり使う事はなかったんですが備忘録として。
稼働中インスタンスに対して、バックアップ等で取得していたスナップショットをルートボリュームとして置き換える方法です。

# ■手順
手順はとても簡単で、インスタンスの停止も不要です。

##### 1.バックアップしていたスナップショットのIDを取得しておく。
snap-xxxxxxxxxxxxxxxxxxxxx


##### 2.稼働インスタンスを選択する
ストレージ → ルートボリュームを置き換える を選択する

![snap2_20230722051703.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/954355/554f9130-568a-2335-5ebb

Webエンジニアが必要なAWSの主要サービス35選

# この記事の資料
この動画の内容のレビューみたいな記事になります。
このチャンネルはプログラマーを目指す人、経験浅いプログラマーは参考になるので
見てみてください。

# この記事の背景
これからAWSを本格的にやっていく時期にこの記事を書きました。
この記事を通して学んでいきたいのとこれからAWSを学ぶ人は参考にしてください。

# そもそもなぜAWS?
AWSはアプリを動かす土台みたいなサービスです。

# 全サービスまとめ
***ClassmethodのDevelopers IOにAWSのサービスをまとめてある***みたいです。(2022年版)

https://dev.classmethod.jp/articles/aws-summary-2022/

こちらが2023年版です。

https:/

東京リージョンにやってきた MySQL HeatWave on AWS を試す (2) サンプルクエリ実行編

こちらの記事の続きです。

– **[東京リージョンにやってきた MySQL HeatWave on AWS を試す (1) 初期設定編](https://qiita.com/hmatsu47/items/8f202eef64ea57e7d948)**

https://qiita.com/hmatsu47/items/8f202eef64ea57e7d948

前回の記事で AWS 上に作成した MySQL DB・HeatWave Cluster にサンプルデータベースを構築し、分析クエリを流して HeatWave なしの場合と比較してみます。

## 試す内容

こちらのチュートリアルに沿って、サンプルデータベースを構築して分析クエリの処理時間を比較します。

– **[5. サンプルデータベースの構築](https://oracle-japan.github.io/ocitutorials/beginners/creating-HeatWave/#anchor5)（OCI チュートリアル・その 10 – MySQL で高速分析を体験する）**

https://oracle-ja

AWS Certified Cloud Practitionerに合格したの色々まとめてみた

# 概要
部署でAWS認定試験の受験が五月蠅く言われています。業務に役立つという訳でもなく、試験の内容はしょっちゅう変更されるため、資格自体の取得の価値はそれほど高くなく、そして何より報奨金や成果評価の対象外。。。何ともモチベーションが出ない状況ですが、受験を強制されて、筆者の他の資格取得計画に影響が出ると困ります。先手を打とう！！とAWS Certified Cloud Practitioner(以下Cloud Practitioner)を受験し、:cherry_blossom:合格:cherry_blossom:したので記憶が薄れないうちに実際に実施した試験対策等の情報をDumpしておこうと思います。

# そもそもどんな試験?
AWS認定試験は全部で12種類存在します。Cloud Practitionerはその中で最も基礎的な知識を問う試験です。受験料は流石ベンダー試験。諭吉さんと数枚の英世さんが飛んでいきます。しょっちゅう試験の問題を改訂するのですから、良心的な価格設定にして貰いたいものです。ボッタクリ価格も良い所です。因みに筆者は勤務先がAWSとパートナーであるため、バウチャ

AWS CloudFormationを使用したEC2インスタンスのプロビジョニング

# はじめに
下記のQiita記事では、VPC環境を自動作成するAWS CloudFormationのサンプルコードを紹介しました。

https://qiita.com/duelist2020jp/items/111b18950ba82de6e338

今回は、上記のCloudFormationで作成したVPC環境上に、EC2インスタンスをプロビジョニングするためのサンプルコードを紹介します。

# CloudFormationのクロススタック機能の利用
既にCloudFormationによって作成された環境を利用して、新たなリソースをプロビジョニングしたい場合、CloudFormationのクロススタック機能を利用します。クロススタック機能の使い方は、下記のAWS CloudFormationドキュメントを参照ください。
[Walkthrough: Refer to resource outputs in another AWS CloudFormation stack](https://docs.aws.amazon.com/AWSCloudFormation/latest/Us

AWS EC2 に Chromebook で SSH 接続するまで

勉強用のChromebook でも AWS 使いたくなったので接続できるまでの手順を確認

アーキテクチャ


作業手順一覧

1: VPC 作成
2: サブネット 作成
3: インターネットゲートウェイ 作成
4: VPC にインターネットゲートウェイ をアタッチ
5: ルートテーブルに インターネットゲートウェイ を関連付け
6: キーペア を作成
7: EC2 インスタンス作成
8: Linux ファイル フォルダに作成した キーを移動
9: ターミナルで SSH 接続設定
10: 設定したSSHで接続

---

TwinMakerからローカルPC上のデータソースに直結する方法（例：Echonet Liteを直接操作する）

# この記事について

クラウドを経由せず、TwinMakerからローカルPCのデータを直接参照する方法を紹介します

## どうやって？

– TwinMakerの接続先をローカルに切り替えるオプションがあります
– FastAPIを使って、ローカルPC上にTwinMaker互換のWebサーバを立てます

## 何が嬉しいの？

– どれだけヘビーに使っても、TwinMakerの利用料金が0になります
– ブラウザから端末方向への取得リクエストができるようになります
– セキュリティの都合でインターネットに送れないデータも、デジタルツインで可視化できます

## 動作しているところ（GIF画像）

気温センサーが38度を超えると、タグの色が赤くなって、MMDのキャラクターが手を振るように設定しています。Echonet Liteのシミュレータ（萌花電ルーム）の気温を変更すると、ほぼリアルタイムに連動してTwinMakerに反映されます。

![echonet-direct.gif](https://qiita-image-store.s3.ap-northeast-1.amazonaw