AWS関連のことを調べてみた

AWSコンソールを使用した構築手順１－２

## 休憩終わり（前回の続き）
前回の記事については　→[AWSコンソールを使用した構築手順１－１](https://qiita.com/Hiro_tech/items/7b63e3f7899e75d9845f)を参照してください。

項番は、分かりづらくなるなと思ったので、続きの９から書いていきます。
それでは、早速やっていきます。

### ９．メインルートテーブルの編集
#### ９－１．前回の構築手順①で作成したパブリックサブネットを選択
#### ９－２．このサブネットにアタッチしているルートテーブルを選択
#### ９－３．ルートテーブルの「ルートを編集」押下
#### ９－４．「ルートを追加」を押下し、下記２つのルートを追加する。
　・「10.0.0.0/24（パブリックサブネットのIPv4 CIDRブロック）」、「NATゲートウェイ（前回の構築手順➀で作成したNATゲートウェイ）」の選択
・「0.0.0.0/0」、「インターネットゲートウェイ（前回の構築手順➀で作成したインターネットゲートウェイ）」の選択
#### ９－５．「変更を保存」押下

###

AWS: ECR (ElasticContainerRegistory) へdocker imageをpush

ECRでコンテナレジストリを作成し、ローカル環境でビルドしたdocker imageをECRにpushする

## ECRのUIでリポジトリを作成


pushコマンドを確認する


## ローカルからpushコマンドを実施するが。。。失敗

=> コマンドが成功するようにツールやトークンの設定を行う
– pip install –upgrade awscli
– pip install requests

“`
![image.png](https://qiita-image-store.s3.ap-

Databricksクイックスタートを使ってみた

# 初めに
Databricksを初めて触るので、AWSで環境を構築してみました。
その際、クイックスタートありましたのでAWSでの構築を実施する際の参考になればと思います。
※今回はCloudformationを利用しています

# 事前に必要なこと
①Databricksのアカウントオーナー用のアカウント
　※事項で詳細に説明いたします
②AWS管理者権限
→AWSの管理者権限を持つIAMユーザー
③利用するクラウドとリージョンの選択
→今回は東京リージョンで選択しています

# 環境構築手順
### ①Databricks社の無料トライアルサイトに登録
自分の名前を登録し、必要な情報を入力して送信します

### ②プロバイダの選択
今回はAWSを選択
![image.png](https://qiita-image-store.s3.

Amazon EC2 Auto Scalingのスケーリングポリシーをまとめてみた

AWSのAmazon EC2 Auto Scalingを使うと、トラフィックの変動に合わせてインスタンス（仮想サーバー）の数を自動で増減できます。これにより、パフォーマンスを維持しつつ、コストを最適化できるのが大きなメリットです。
スケーリングポリシーという、インスタンスの数をどう増減させるかを制御するルールについて、初心者向けにまとめみた

### スケーリングポリシーとは？

スケーリングポリシーは、Auto Scalingグループ内のインスタンス数を自動で増減させるための設定です。適切なスケーリングポリシーを使うことで、トラフィックが増えてもシステムが対応できるようにし、不要なリソースを減らしてコストを抑えることができます。

### スケーリングポリシーの種類

### 1. 手動スケーリング

• 概要: 手動でインスタンス数を増やしたり減らしたりします。
• 特徴: 自分で設定するので、細かいコントロールが可能ですが、トラフィックの急な変動には対応できません。
• 使う場面: 一時的に増減させたい場合や、事前にトラフィックを予測できる場合に便利です。

### 2.

New Relic InfrastructureでWindows ホストをモニタリングしよう！

New RelicのInfrastructure エージェントは、とても**簡単な手順**でインストールすることができ、**すぐにOSのCPU、メモリ、プロセスなどの監視を開始**することができます。本記事ではWindows Server 2022 への導入手順を紹介します！

# New Relic Infrastructure とは
New Relic Infrastructure とは、 Goで作られた軽量の実行ファイルであるInfrastructure エージェントをサーバサイドで稼働させることで定期的に**OS、ミドルウェア、ネットワークなどのパフォーマンス情報ログや OSのパッケージ情報を収集する機能**です。**主要なLinux ディストリビューション、Windows、MacOSなどのメジャーなOSに対応**しており、DockerコンテナやAmazon FargateやAmazon EKSなどコンテナ環境にも対応しています。インストール方法には、ガイドインストールやパッケージを使った手動でインストールする方法やAnsibleやChefなどの構成管理ツールを用いる方法があり

ALBのアクセスログをAthenaを使って分析する

## はじめに

障害時にALBのアクセスログを素早く分析できるようになりたいと思い手を動かしながら解説していきます。

## やること
S3に保存したALBのアクセスログを、Athenaを使って分析する。

## 必要な工程

大きく分けると以下になります。
– データベースを作成する
– https://docs.aws.amazon.com/ja_jp/athena/latest/ug/step-1-create-a-database.html
– テーブルを作成する
– https://docs.aws.amazon.com/ja_jp/athena/latest/ug/create-alb-access-logs-table-partition-projection.html
– クエリする
– https://docs.aws.amazon.com/ja_jp/athena/latest/ug/query-alb-access-logs-examples.html

正直公式の解説が丁寧すぎたので解説は必要ないかもなのですが、実施してみてわかりにくか

AWS Data Engineer Associate 学習メモ

:::note warn
※学習用のメモのため、内容が正しくない可能性があります。
:::

## RedShift
– Spectrum
データをRedShuiftにはロードせず、S3データを直接並列クエリ可能
– フェデレーテッドクエリ
RDSのPostgre、MySQLに対して直接クエリ可能
– COPY コマンド、並列ロード　、スライス数
イベントドリブン（S3アップロードをトリガーにしてCOPYジョブの実行も可能
– Redshiftデータ共有機能
クロスアカウント、クロスリージョンでのデータ共有も可能
– Streaming Ingestion
Kinesisデータストリーム、MSK（Kafka）からのストリーミング取り込みをサポート
– Lake Formationとの連携で、きめ細かい権限管理が可能
– Apache Sparkからの高速アクセス
– Amazon Redshift Data API
HTTPSエンドポイントを通じてRedshiftクラスターに直接アクセスすることができ、SQLクエリを実行できる

– 結果セットのキャッシュ
リーダーノードでクエリ受付

AWS SAA(SAA-C03) 合格体験記

# はじめに
AWS Certified Solutions Architect – Associate(SAA)を20日(63時間)で合格するまでの勉強方法、使用した教材等を記します。また、SAAを取得したいが、何をすればいいか分からないという方に向けて、おすすめの勉強方法等を提示したいと思います。
この記事が誰かの役に立てればと思います。
※本記事は2024年5月に投稿した記事を再掲したものです。

※AWS SAAとは([AWS公式サイト](https://aws.amazon.com/jp/certification/certified-solutions-architect-associate/))
## 私の勉強開始前の知識レベル
– AWS CLFの資格 取得済み
– 実務で2週間程度コンソール画面を触っていた

AWS CLFの学習に関しての[記事](https://qiita.com/beagle_engineer/items/02ddaf182c04ca43c801)も書いています。

## 学習ルート
以下の手順で学習を進めました。

– **Step 1： ki

AWS RDSを使って簡単にMySQLデータベースを構築・接続する方法

## はじめに
今回は、AWSのマネージドデータベースサービス「RDS」を使って、MySQLデータベースの作成から接続確認までの流れをご紹介します。

RDSは、データベースの設定、スケーリング、バックアップの管理を簡単に行え、さまざまなデータベースエンジンをサポートしているため、データベース管理の手間を大幅に軽減できます。

前回の記事では、NoSQLデータベースサービス「DynamoDB」についても詳しく解説しています。興味があればぜひ読んでみてください。

https://qiita.com/free-honda/items/3e0e508f316d351274fb

## 前提条件
この記事を実施するには、以下の要件を満たしている必要があります。

:::note
**AWSアカウント：**
AWSアカウントを持っていることが前提です。

**RDSとMySQLの基本理解：**
RDSとMySQLの基本的な機能や操作方法を理解していることが望ましいです。公式ドキュメントや入門書を事前に確認しておくと、スムーズに進められます。
:::

## RDSについて
Amazon Rel

AWS Cloud Quest がAWS入門者におすすめできるか確認する

# 1 はじめに
– 部署に「AWSこれから始めたいです」という人が加入した。「AWS Cloud Quest」という、入門者が楽しく学べるサービスがあるらしい、という噂を聞いたため、自分で実際にやってみて、おすすめできるかを確認する。

# 2 AWS Cloud Quest とは？（自分の理解）
– 公式　https://aws.amazon.com/jp/training/digital/aws-cloud-quest/
– 公式の説明だけだと何だかよく分からないため、実際に試した人のブログなどを見て予習した。
– [AWS Cloud QuestでAWSの基本サービスを復習してみた](https://tech.dentsusoken.com/entry/2024/04/30/AWS_Cloud_Quest%E3%81%A7AWS%E3%81%AE%E5%9F%BA%E6%9C%AC%E3%82%B5%E3%83%BC%E3%83%93%E3%82%B9%E3%82%92%E5%BE%A9%E7%BF%92%E3%81%97%E3%81%A6%E3%81%BF%E3%81

AWS CLF(CLF-C02) 合格体験記

# はじめに
実務未経験から最短でAWS CLFを取得する方法を考え、実践した話です。
※本記事は2024年4月に投稿した記事を再掲したものです。

– [AWS Certified Cloud Practitioner](https://aws.amazon.com/jp/certification/certified-cloud-practitioner/)

## 私のスペック
– 私立理系大学院卒(非情報系)
– PCに抵抗はないが、IT技術は全くと言っていいほど知らない

## なぜ受験するのか
– 新卒入社した会社で使われている技術であったため
– 研修の1つの達成目標であったため

## 学習計画
なるべく単純でお金のかからない学習方法を考えました。
– **Step 1: AWS Skill Builderの動画を見る**
　- [AWS Cloud Practitioner Essentials](https://explore.skillbuilder.aws/learn/course/1875/aws-cloud-practitioner-essentials

OAIとは(AWS CloudFront)

CloudFrontにおける、認証済みリクエストをS3オリジンに送信するための方法。
Origin Access Identityの略。

AWSではOAC(OriginAccessControl)を推奨している。
理由は以下の通り。

https://docs.aws.amazon.com/ja_jp/AmazonCloudFront/latest/DeveloperGuide/private-content-restricting-access-to-s3.html#:~:text=%E3%81%99%E3%81%B9%E3%81%A6%E3%81%AE%20AWS,%E3%81%A8%20DELETE
> OAC は以下をサポートしているため、OAC の使用をお勧めします。
> ・ すべての AWS リージョンのすべての Amazon S3 バケット (2022 年 12 月以降に開始されたオプトインリージョンを含む)
> ・ AWS KMS による Amazon S3 サーバー側の暗号化 (SSE-KMS)
> ・ Amazon S3 に対する動的なリクエスト (PUT と

【Error】AWS画像関係～原因が全く違った？件

# はじめに
ボタンを押した後に表示された画面。エラーが起こっていたのでエラーの発見から解決までの流れをまとめてみたいと思います

## どういうエラーか？
[](https://gyazo.com/64af5f62351baa506441abfde57ce7fa)

– 何かしらのエラーが起こっていて、「所有者の場合はログを確認してください。」とのことなのでログを確認。

– 開発者ツールやターミナルの「docker compose up」のログにはエラー特に見当たらず。
– Renderのダッシュボードから、該当プロジェクトの「Logs」を見ると`Error`の文字を発見！
[](https://gyazo.com/c1721c1cb281f131059e896ef3c7cbce

AWSコンソールを使用した構築手順１－１

## 全体像

## 必要なAWSリソース
・VPC　×　１　（ ap-northeast-1：東京リージョン）
・パブリックサブネット　×　１
・プライベートサブネット　×　１
・EC2インスタンス　×　１
・NATゲートウェイ　×　１
・インターネットゲートウェイ　×　１

## 出来るようになること
・上記のAWSリソースの作成ができる。
・プライベートサブネット内のEC2インスタンスからインターネットへ疎通確認ができる。
　（qiita.comへpingを打つ。）

## 構築手順
### １．AWSコンソールにIAMユーザとしてログインする。

### ２．ap-northeast-1：東京リージョンを選択

### ３．VPCの作成
#### ３－１．上記バーの検索に「vpc」と入力し、Enter押下
#### ３－２．画面左の「お使い

DifyをAWSでガチ目に動かすには？〜理論編

:::note info
弊社メディア [DifyをAWSでガチ目に動かすには？〜理論編 \| ideaman’s Notes](https://notes.ideamans.com/posts/2024/my-aws-dify-stack.html) からの転載です。
:::

DifyのソースコードにはDocker Composeプロジェクトが同梱されている。

それを利用すると[自分専用のDify環境をサクッとセルフホストできる](https://notes.ideamans.com/posts/2024/my-own-dify.html)のだが、それを本番運用に利用するのは心許ない。

ではAWS上で、ガチ目のDifyスタックを展開するとしたらどうするか考えてみた。

—

## 全体像

Difyのソースコードは本当にセルフホストに親切で、[Docker Composeプロジェクトのコンポーネント図](https://github.com/langgenius/dify/blob/main/docker/docker-compose.png)もある。

![Difyの全体

AWS CLIでCloudFrontの設定を変更するスクリプト

## CloudFrontの設定は、ちょっぴり面倒くさい

CloudFrontの設定をする場合、特定の項目のみを設定するのではなく、設定用のjsonを丸ごと流し込む方式を取ります。

“`bash:更新コマンド。オプションでjsonを読み込んでいる
aws cloudfront update-distribution \
–id $DISTRIBUTION_ID \
–distribution-config file://updated-config.json \
–if-match $ETAG
“`

jsonを作り込むのが面倒くさいので、スクリプトにして実行する方法を紹介します。

## 前提

AWS CLIコマンド、jqコマンドが使える環境であることを前提とします。

## 設定スクリプト

以下のように実行します。jqコマンドは抽出の他、フィールド編集も簡単にできるので良いですね。

“`bash
# 設定対象の指定
DISTRIBUTION_ID=

# 設定取得
aws cloudfront ge

S3にファイルが置かれたらStep Functions+Glueで処理したい（リソースは1つ）

# はじめに
皆さん、イベント駆動処理していますか？
スケジュールを前もって決められない場合などに便利ですよね。
ただ、イベントが増えすぎると、それに伴い処理するリソースが増えていってしまいます。

例えば、S3にファイルが置かれたら、EventBridgeで発火、Step Functionsを起動してそのステートマシンでGlueを実行する処理を考えます。
以下は、ファイル数が3つの場合です。


このように、ファイルに応じてリソースを増やしていくと、管理が大変になります。

一方で、このように一本化できると、リソース管理が楽になりますね。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2949357/94627eb6-dea3-fbfb-87

キューってなんやねん!!!

## 題名の通り
AWSで「サーバレス」だとか「非同期」だとかよく言われる単語で毎度おなじみのSQS。
実際に触ったことがないので、実際にやり取りされる「キュー」ってのが実際にどんな奴なのか全然イメージつかなくて困った。のでまずはChatGPT君に聞いてみた。

## ChatGPT君の答え
わし「メッセージキューって何ですか？データレコードみたいなものですか？」
ChatGPT君「メッセージキューの実態は、データレコードそのものではなく、メッセージの一時的な保存・管理を行うための仕組みや構造を指します。メッセージキューは、プロセス間通信や異なるシステム間での非同期通信に利用され、メッセージ（データのパケット）が送信者（プロデューサー）から受信者（コンシューマー）に渡されるまで、キュー内に一時的に蓄積されます。」

聞き方悪かったけど、とりあえずメッセージをキューイングするってのは、上記の通りで、メッセージなるものが送信者から受信者に渡されるまで、キュー内に一時的に蓄積しておくもののことを指す。

じゃあそのメッセージってなんやねん！ってことで聞いてみると、
「Amazon SQS（S

AWS WAFを使って特定のIPのみアクセス可能な環境を作る

# 初めに
生後5ヶ月の娘に重くなったね〜と言ったら笑いながら胸ぐらを掴まれ恐怖を感じた27歳です。
今回は全三部構成（多分）の第三部となっております。（前回までの内容は下記にリンクを貼っておくので興味があれば！）

# 前回のあらすじ

CloudFront + S3で作った環境に関しては下記２つのQiitaを見たら誰でもできます！

https://qiita.com/rakkun/private/cbfa52a7fee3f7c0ea39

https://qiita.com/rakkun/private/dc98801524eb2abc6703

# 今回やったこと
AWS WAFを使ってCloudFrontにアクセスできるIPを制限してみた

## WAFとは？
– ウェブアプリケーションファイアウォール
– いろんな通信（SQLインジェクション、IPアドレス）を検知し遮断できる
– 今回は特定のIPだけアクセスさせる目的で使用
– （ちょっとお金かかるよ）

## イメージ
![スクリーンショット 2024-02-14 22.24.02.png](

S3とCloudFrontを使って静的サイトを作成してみる

# これは何？
AWSの[S3](https://aws.amazon.com/jp/s3/)と[CloudFront](https://aws.amazon.com/jp/cloudfront/)を使って静的サイトの環境を作ったので備忘録

# メリット
– コストが安い(EC2などと違いアクセス分しかコストかからない)
– サーバーレスでメンテナスが不要
– S3だけで作るよりセキュリティー面good(https通信ができる)

# デメリット
– ある程度AWSの知識必要（そこまでは学習コストはかからない認識だが）
– PHPなどのサーバーサイドの言語は動かせない
– CloudFrontの設定でWAFを利用するとお金がかかる

# 環境作成

## S3の準備
バケットの作成は下の記事とほぼ同じ
https://qiita.com/rakkun/private/cbfa52a7fee3f7c0ea39

ブロックパブリックアクセス設定だけ違う（今回はチェックを外さない）
![スクリーンショット 2023-12-25 22.15.13.png](https://qiita-ima