AWS関連のことを調べてみた2023年07月26日

Promethus/Loki/Grafanaを使ってメトリクス、ログを監視してみる

# はじめに
社内でも監視ツールのコスト見直しによりOSSを使った監視ツールの検討・導入が進んでいるため、まずは検証環境で実際に構築して、個人の理解を深めることを目的としています。

# やりたいこと
監視サーバ（Grafanaのダッシュボード）から監視対象サーバの下記メトリクス、ログを可視化する。
– CPU使用率
– メモリ使用率
– sshdプロセスの死活監視
– /var/log/messagesのログ
– /var/log/crondのログ

—

## 概要図

—
## 成果物
今回の検証で下図のようにGrafanaでログ、メトリクスのダッシュボードを作成し可視化ができました。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/

【DX】ChatGPTを社内Slackから使えるようにしてみた

# ChatGPT使ってみた

皆さんの会社でもChatGPT活用されていますでしょうか
今回はChatGPTの活用促進に向けて社内で取り組んだ事例の紹介になります。

::: note
今回の事例はWeb画面からのChatGPTにおいてAI学習への活用可否Optionスイッチが実装されておらず、API経由でのGPT利用しか選択肢が無かった時点での事例となります
:::

### 導入背景
ChatGPTはその登場から非常に注目され、色々な利用事例があがっており、弊社としても活用していきたいと考えています。しかし、事業会社のシステム部門としては業務利用にあたって情報漏洩がやはり気になるところです。
そんな中、4月頃にOpenAI社よりAPIが公開され、API経由であればAIの学習目的利用をせず、30日間でデータ削除する事を選択できる（≒情報漏洩リスクを軽減できると考えられる）事から、APIを介してChatGPTを業務活用する為の機能開発ができないか。という議論がスタートしました

### Slack連携を選んだ理由
社内でChatGPTを利用するにあたって「いかに社員が使いやすいイン

SSHKit::Runner::ExecuteError【AWS,Capistrano】

# はじめに
Capistranoを使用して、AWSに自動デプロイを行なった際に下記のエラーが出たので、備忘録として投稿します。

# エラー内容

“`　　
$ bundle exec cap production deploy
“`

で自動デプロイを始めると

“`
SHKit::Runner::ExecuteError: Exception while executing as ec2-user@Elastic IP: rake exit status: 1
rake stdout: Nothing written
rake stderr: bundler: failed to load command: rake (/var/www/app/shared/bundle/ruby/2.6.0/bin/rake)
Gem::Exception: can’t find executable rake for gem rake. rake is not currently included in the bundle, perhaps you meant to add it

AWS ECSでAWS AppConfig Agentを試してみる

# AWS AppConfig Agentとは

AppConfigの値をアプリケーションの代わりに自動でポーリング・データのキャッシュを行ってくれるサービスです。
これを利用することにより、カスタムでAWSのAPIを利用してデータを取りに行ったりキャッシュを構成する必要がなくなりました。

AWS AppConfigについては以下を参照下さい。

https://docs.aws.amazon.com/ja_jp/appconfig/latest/userguide/what-is-appconfig.html

# ためす
以下の手順を参考に試してみます。

https://docs.aws.amazon.com/appconfig/latest/userguide/appconfig-integration-containers-agent.html

## 前提
– 検証用ECRに適当なイメージをPush済み
– 作成は[コチラ][link-1]を参考にcurlだけインストールしています。
– AppConfig上に簡単なプロファイルを作成して適当な環境にデプロイ済み

[AWS Q&A 365][EI]AWSのよくある問題の毎日5選 #98

# Q1: Amazon Elastic Inference Developer Guideにはどのようなセキュリティ対策が記載されていますか？
A1: そのガイドには、Identity and Access Management (IAM)、IDでの認証、ポリシーを使用したアクセス管理、ログ取りとモニタリング、コンプライアンスの検証、インフラセキュリティ、設定と脆弱性分析などのセキュリティ対策が記載されています。

# Q2: Elastic Inferenceのセキュリティグループをどのように設定しますか？
A2: そのガイドでは、Elastic Inferenceのセキュリティグループを設定する方法について説明があります。”Elastic Inferenceのセキュリティグループを設定する”セクションを確認し、手順に沿って設定することを推奨します。

# Q3: CloudWatch Metricsを使ってElastic Inferenceをモニタリングする情報はありますか？
A3: はい、ガイドにはCloudWatch Metricsを使ってElastic Inferenceを

[AWS Q&A 365][EI]Daily Five Common Questions #98

# Q1: What security measures are mentioned in the Amazon Elastic Inference Developer Guide?
A1: The guide mentions security measures such as Identity and Access Management (IAM), authenticating with identities, managing access using policies, logging and monitoring, compliance validation, infrastructure security, and configuration and vulnerability analysis.

# Q2: How can I configure my security groups for Elastic Inference?
A2: The guide provides instructions on configuring your security gr

API Gateway利用時にAPI作成削除権限だけを除外した編集権限の作成

# はじめに
API Gatewayをプライベートなネットワークで利用したい場合、REST API(Private)を利用する案が出てくるかと思います。

その時、すべてのユーザーにAPIを自由に作成・削除できる権限を与えてしまうと、REST API(Private)以外のプロトコル・エンドポイントタイプで作成されてしまう可能性があります。

そのため、API自体の作成・削除は管理者が行い、他のユーザーはAPI内の変更のみできる権限を検証しました。

以下のドキュメントに記載されているポリシーを参考にしました。
https://docs.aws.amazon.com/ja_jp/apigateway/latest/developerguide/security_iam_id-based-policy-examples.html#security_iam_id-based-policy-examples-private-api

# 作成ポリシー
実際に作成したポリシーは以下になります。
読み取り権限やAPI実行権限は別途付与されている想定として除外しています。
“`
{
“S

Pythin 3.10 の pip にアップグレード & request ライブラリの Lambda レイヤーを作成する方法

Lambda で requests を使いたかったので、Lambda レイヤーを作成する時に Pything 3.10 の pip に切り替えて requests の zip ファイルパッケージを作ったときのメモ書き

MacOS の Homebrew での作業です。

“`
$ brew install python@3.10
# python3.10 -m pip install –upgrade pip
“`

“`
$ pip –version
pip 23.2.1 from /usr/local/lib/python3.10/site-packages/pip (python 3.10)
“`

“`
$ mkdir python
$ pip install -t python requests==2.28.2
$ zip -r9 layer.zip python
“`

– Lambda Layer を追加
– Lambda 関数に Layer を紐付け

参考
https://stackoverflow.com/questions/54409696

TerraformでAWS budgetsを設定する

# 概要
– TerraformをつかってAWS budgetsを設定した時のメモ

## コード
– main.tf
“`hcl
provider “aws” {
region = “ap-northeast-1”
}

resource “aws_budgets_budget” “total” {
name = “sample_budgets”
budget_type = “COST”
limit_amount = “1000”
limit_unit = “USD”
time_unit = “MONTHLY”

notification {
comparison_operator = “GREATER_THAN”
threshold = 85
threshold_type = “PERCENTAGE”
notification_type = “F

AWSでrinnaの日本語GPT-2モデルとおしゃべりするLINE Botを作る

# 概要
[FlaskでAIとおしゃべりするインターフェースを作る](https://qiita.com/MokonaSato/items/09ba9e5e21698cd21a52)で登場した、私がファインチューニングしたrinnaの日本語GPT-2モデル（以下、もこなGPT）とおしゃべりできるLINE Botを作りました。
参考にした記事と開発中に私がつまづいたところをまとめます。

# 使用言語、ライブラリなど
– Python 3.9
– torch 1.13.1
– sentencepiece 0.1.97
– transformers 4.26.0
– AWS SAM CLI 1.90.0
– line-bot-sdk

使用したPCはMacbook Air（M1チップ）です。

#

Redshift Serverless その2

Redshift Serverlessを使って気づいたことを書きます。その2です。

# 使ってないはずなのに料金が、、、
あるとき何もつかってないはずなのに、結構な額の料金が発生していることに気付く。
気づいたのはAWS Budgetsの予算通知ルールをつくっていたから。ギリギリセーフ。

確認すると、特に処理をしていないはずなのにRPUがBase Capacityの値で張り付いていた。
# 原因
以下の4つが重なって、Serverless上で”トランザクション”が1週間近く実行されたままだった模様。

1.Redshift Serverlessはトランザクション実行中はRPUが使用される。(=料金が発生する)
https://docs.aws.amazon.com/ja_jp/redshift/latest/mgmt/serverless-billing.html
2.接続に使っていたツールをauto commit OFFで使っていた。(=selectしただけでトランザクションが開始され、commit/rollbackするまで

[AWS IAM Identity Center] SSO環境下でAWS CodeCommitの認証を行う

※この記事は[自分のブログ](https://blog.morikapu.com/awssso-with-awscodecommit/)から持ってきたものです。Qiitaにも残しておきたいため投稿しています。

会社などでAWS IAM Identity Center + SSOを使用しているときにちょっと躓いたのでメモ。
AWS Cliなどはインストールしてある前提とする。

# 環境
Windows + Git for Windows + AWS Cli

# 1. SSOの設定
コマンドプロンプトで以下を実行
※aws configure sso はGit Bashでは実行できないので注意
“`
aws configure sso
“`

質問にいくつか聞かれるので入力していく。
SSO Start URLなどはAWS IAM Identity Centerポータルページで「Command line or programmatic access」を押すと表示される。
“`
SSO session name (Recommended): <適当な名前>
SSO start U

【AWS Lambda】複数のLambda関数を１つのコンテナイメージにまとめる

## やりたいこと・背景
Lambdaをコンテナから作成する場合、Lambda関数が複数ある場合は関数ごとにイメージをビルドしなければならないのか？という単純な疑問が出てきた。その場合、イメージの管理が複雑になりそうなので、１つのイメージで複数のLabda関数を管理できないかと考えた。

## 結論
ランタイムイメージをビルドする際、各Lambda関数ごとに`ディレクトリを分け`、関数作成時に`ENTRYPOINT` を指定することで実現可能。

同一ディレクトリに main関数 を持つバイナリが複数存在すると、実行時にどの main関数 を呼び出すべきかが不明瞭になり、うまく動作しない。そのため、各Lambda関数は独自のディレクトリに配置される必要がある。

ランタイムイメージで関数ごとにディレクトリを分けることで、各Lambda関数が独立して実行されるようになる。

## ローカル環境の準備

– フォルダ構成
root/
　├ Dockerfile
　├ main1.go
　├ main2.go
　└ main3.go

– Dockerfile作成
“`docker:D

東京リージョンにやってきた MySQL HeatWave on AWS を試す (3) バックアップをリストアしてサイズを変えてみる編

こちらの記事の続きです。

– **[東京リージョンにやってきた MySQL HeatWave on AWS を試す (2) サンプルクエリ実行編](https://qiita.com/hmatsu47/items/0979f877ad596cf3cf67)**

https://qiita.com/hmatsu47/items/0979f877ad596cf3cf67

現状、MySQL HeatWave on AWS のシェイプサイズや HeatWave Cluster 構成を変えるには、(1) に記したとおりバックアップからのリストアかダンプデータのインポートが必要です。

今回、実際にバックアップからのリストアにあわせてシェイプサイズや HeatWave Cluster 構成を変更し、(2) と同じクエリの所要時間を比較してみました。

## バックアップをリストアする

マネージドサービスですので手順は簡単です。

### 一覧から対象バックアップを選択

![image.png](https://qiita-image-store.s3.ap-northeast-1.ama

IMDS Packet Analyzerについて調べてみた

# はじめに
IMDS Packet Analyzerが6月に登場したので、どんなサービスか調べてみました。

https://aws.amazon.com/jp/about-aws/whats-new/2023/06/imds-packet-analyzer-simplifies-migration-imdsv2/

そもそもIMDSが何かすらわかっていなかったので、以下を参考にIMDSについてまとめます。

https://dev.classmethod.jp/articles/ec2-imdsv2-release/

https://dev.classmethod.jp/articles/imds-packet-analyzer-simplifies-migration-imdsv2/

# Instance Metadata Service（IMDS）とは
インスタンスメタデータは、OS上から取得できるEC2のメタデータ情報です。
インスタンスIDやインスタンスタイプ、AZなどを確認できます。
IMDSは、169.254.169.254というリンクローカルIPで動作しています。

Amazonエンジニアの年収上限が4000万円にアップした背景まとめてみた

https://oceans.tokyo.jp/article/detail/36460

2022年2月からアメリカのAmazonで働くエンジニアや管理部門で働くスタッフの基本給の上限が4000万まで引き上げされたのなんで？と思ってまとめています！！

しかもこの4000万に引き上げられたのは、マネージャー、ディレクターなどの管理職を除く一般社員だというから驚きです。。
基本年収の他にも、入社時の一時金や譲渡制限付株式ユニットなども含まれるため、実際の支給額はさらに増える見込みで、改善前と比べると約2倍の給料増額になっています。。

Amazonすごい！ってなるところですが、実はこれでも他Apple、Googleなどのライバル企業に比べると若干劣勢になるのだとか。
他大手の企業も特別賞与を支給したりしているそうです。

##

Redshift Serverless その1

Redshift Serverlessを使って気づいたことを書きます。

# 思ったよりスケールしない
勝手にスケールするなら、Base RPUは8でいいよねと設定
実際に使ってみたらあれ？遅い。
Cloudwatchを見ると全然スケールしていない。　　
疑問に思ったのでいろいろ試してみる。 (ちなみに試したのは2023年の3月なのでまた挙動は変わっている可能性もある)

負荷のかかるようなデータとSQLを準備するのはしんどいので、AWSのブログで紹介されているTPC-DSベースのRedshift用のDWHベンチマークを使用
https://github.com/awslabs/amazon-redshift-utils/tree/master/src/CloudDataWarehouseBenchmark/Cloud-DWB-Derived-from-TPCDS

とりあえずデータはお金があまりかからないように1TBでBase RPUと並列度を変えながらスケールするか試してみる。
※画面はAWSコンソールのRedshift Serverlessのモニタ画面

![imag

そこら辺の学生が学んだRDS運用

# この記事で書かないこと
– アーキテクチャ等は記事が数多くあるため触れません。
– コスト関連
– 実際の手法
– 法律やコンプライアンス関連
– aws, terraformなどツールの使用方法

# なぜ・何を書くのか？
## なぜ
SREでインターンをしていて、社会人になる前にDBの運用業務まで知っておきたいと感じたからです。
運用業務のイメージを掴むことをモチベーションにしています。

また、同じエンジニアを目指す学生の参考になればと思いterraformの[サンプルコード](https://github.com/naruse666/rds-ops)を提供します。
※awsのシェア率が高いためRDSを使います。

## 何を
そもそもDBの運用業務の概要を説明できる自信がないためChatGPTに聞いてみました。
“`
Q) データベースの運用や保守では何が行われますか？

A) データベースの運用や保守は、データベースの正常な動作を確保し、データのセキュリティと可用性を維持するために行われる重要な活動です。以下に、一般的なデータベースの運用や保守で行われる主な活動を挙げて

【備忘録】AWS EC2 起動テンプレートからインスタンスを起動する時にボリュームが表示されない

## 背景
起動テンプレートを作成したインスタンスを起動する際にあれ？ということがあったため、備忘録として記載しておく。

## 1.起動テンプレートからインスタンスを起動しようとすると・・・
起動テンプレートからインスタンスを起動しようとすると、ストレージには下記のようなコメントが表示され、起動テンプレート通り設定されているか分からない状態になった

## 2.起動テンプレートの設定確認
下記画像のようにストレージの設定が存在する

## 3.そのまま起動してみた
起動テンプレート通りの設定で起動でき

【個人開発】AWSサービスの学習メモ共有アプリを作ったの、な～ぜな～ぜ？

# どんなアプリ？

アプリ開発たのしいでちゅ！
自分のAWSサービスのメモやナレッジを公開して共有するWebアプリを作りました?

**Learners AWS Note**

https://learnersaws.com/

# 機能

## 学習ノート

ノートを取りながら勉強できます！


## タイムライン⏰

タイムラインでいろんな人の学習ノートを見ることができます！


以上です！よかったら使ってください?