AWS関連のことを調べてみた2023年07月28日

SFTPのログ出力設定【Amazon Linux2】

# ■概要
Amazon Linux2にて行った設定です。
ご参考になれば！

# ■手順
#### 1.syslogに出力された内容をファイルへ出力するようにsyslogのコンフィグに追記する

“`
# vi /etc/rsyslog.conf

# This rule to save the log output of sftp
local5.* /var/log/sftp.log
“`

#### 2.出力先ファイルを予め作成しておく

“`
touch /var/log/sftp.log
“`

#### 3.rsyslog.confを反映させるためrsyslogのデーモンを再起動する

“`
systemctl restart rsyslog
“`

#### 4.opensshの設定ファイルを変更してsftpの操作ログをsyslogに出力するように編集する

“`
Subsystem sftp /usr/libexec/openssh/sftp-server
“`

という行があるので、 -f LOCAL5 -l VERBOSE、を後ろに追記して、

“

Athena で S3 Glacier で復元されたデータのクエリを実行する

# 内容

https://aws.amazon.com/jp/about-aws/whats-new/2023/06/amazon-athena-querying-restored-data-s3-glacier/

– Athena を使用して Glacier Flexible Retrieval ストレージクラスと Deep Archive ストレージクラスで復元されたデータを直接クエリできるようになった。

– 今までは、標準ストレージクラスにデータをコピーする必要があった。

– S3 スタンダード に保存されている最新のログと S3 Glacier Flexible Retrieval に復元された古いログを組み合わせると、1 つのクエリでストレージクラス全体のログ分析を実行することも可能。

# やってみる

## サンプルデータの準備　

S3 にサンプルデータをアップロードしておき、Glueクローラでテーブルを準備しておきます。
![スクリーンショット 2023-07-25 19.38.16.png](https://qiita-image-store.s3.ap-n

[AWS Q&A 365][AppSync]AWSのよくある問題の毎日5選 #99

# 1. AWS AppSyncのリアルタイムデータとは何ですか？
答え：AWS AppSyncのリアルタイムデータとは、バックエンドのデータソースでデータが変更されるたびにリアルタイムで更新を受け取る能力のことを指します。

# 2. AWS AppSyncでリアルタイムデータをどのように有効にできますか？
答え：AWS AppSyncでリアルタイムデータを有効にするには、データが変更されるたびにクライアントがリアルタイムで更新を受け取ることを可能にするAWS AppSyncのサブスクリプションを使用します。

# 3. AWS AppSyncでリアルタイムデータを有効にするためにどのデータソースを使用できますか？
答え：リアルタイムデータは、Amazon DynamoDB、AWS Lambda、HTTP APIなどのデータソースと共に、AWS AppSyncで有効にすることができます。

# 4. AWS AppSyncのリアルタイムデータへのアクセスをどのように制御できますか？
答え：AWS AppSyncのリアルタイムデータへのアクセスは、Amazon Cognitoユーザープ

[AWS Q&A 365][AppSync]Daily Five Common Questions #99

# 1. What is Real-time data in AWS AppSync?
Answer: Real-time data in AWS AppSync is the ability to receive real-time updates as data changes in the back-end data sources connected to the GraphQL API.

# 2. How can I enable real-time data in AWS AppSync?
Answer: Real-time data can be enabled in AWS AppSync by using AWS AppSync subscriptions, which allow clients to receive real-time updates as data changes.

# 3. What data sources can I use to enable real-time data in AWS AppSync?
Answer: Re

Aurora MySQLでrds_superuser_roleを使う時の注意点

Aurora 3.x（MySQL 8.x）で新設されたロールベースの権限付与は、便利だが一点ハマりポイントがあるので共有。

# 最初に結論
ロールをアクティベートすることを忘れないこと。
権限ベースの時と違って、GRANTだけでは権限が有効にならない。

# 設定方法

大きく分けて、4種類ある。詳しくは[本家の公式ドキュメント](https://dev.mysql.com/doc/refman/8.0/ja/roles.html)を参照。

ちなみにAuroraの公式ドキュメントにも、[ちょっぴりだけ記載](https://docs.aws.amazon.com/ja_jp/AmazonRDS/latest/AuroraUserGuide/Aurora.AuroraMySQL.Compare-80-v3.html#AuroraMySQL.privilege-model)がある。~~もうちょっと丁寧に書いといてくれるとハマらずに済むのだが。。。~~

> To simplify managing permissions for many users or applications,

EFSでアクセスのないファルをIAに移行すれば安くなるとは限らないぞ

3行でまとめ
—
EFSのファイルをIAストレージクラスに移行すると
burstモードでアクセス費用をかけない運用ができなくなって
余計にお金がかかる場合がある

概要
—-
NFSドライブなどとしてマウント可能なAWSのマネージドファイルストレージのEFS。
このEFSにはストレージクラスというのがあり、ファイルごとに実格納先を選べるようになっています。
アクセス頻度の低いファイル向けの**IAストレージクラス**では、別途アクセス料金がかかるようになる代わりにストレージ料金が一桁下がるというお得な価格設定。

ところが、アクセスのまったくないファイルであってもIAストレージクラスに移行させると料金が高く付いてしまう可能性があるという知見を得ましたのでご共有。

シナリオ
—-
1. スループットモードを「burst」にしていた。このモードでは標準ストレージクラスのファイルのアクセス量費用はかからず、アクセスの際に**バーストクレジット**を消費する。バーストクレジットが残っていないとスループットは大幅に落ちる。
1. 90日間無アクセスのファイルが自動的にIAストレージ

AWS 簡易概要まとめ

AWS
クラウドコンピューティングサービス
サーバーや ネットワークなどを、インターネット経由で貸してくれるサービス

コンピューティング、ストレージ、データベース、分析、ネッ トワーキング、モバイル、開発者用ツール、管理ツール、IoT、セキュリティ、 エンタープライズアプリケーションなど

インフラを、一括で借りられる

マネジメントコンソール
Webブラウザ上のGUI（グラフィカルユーザー インターフェイス）でAWSを操作できる画面

マネージドサービス
AWS側で管理されるサービス
管理者が手動で行う必要はなくなる

2つのしくみにより手軽に扱える

Webブラウザで操作できるユーザーイ ンターフェイスが用意されている

EC2　サーバー
サーバーに必要 なもの一式をクラウドで借りられる
借りた道具を使って自分でサーバーを作るようなイメージ
マネジメントコンソー ルからボタン1つで作成できる

S3　ストレージ
オブジェクトストレージサービス
データ をオブジェクト単位で管理する形式
多機能

VPC　ネットワーク
Virtual Private Cloud
AWS 上に作成する

【AWS】 気になるソリューション

https://qiita.com/zumax/items/a8541406f59ab477a4af

## Amazon CodeGuru
セキュリティの脆弱性を検出し、コードレビューを自動化する

**ユースケース**
コードレビューを自動化する。Java および Python コードでは見つけるのが難しい欠陥や脆弱性を検出し、それらを修正する方法に関する推奨事項を提供する。
コードのレビューを開始するには、GitHub、GitHub Enterprise、Bitbucket、または AWS CodeCommit の既存のコードリポジトリを CodeGuru コンソールで関連付ける。

## Amazon Fraud Detector
機械学習でオンライン不正を検出

**ユースケース**
– 疑わしいオンライン決済の特定
支払いを処理して注文を履行する前に、疑わしいオンライン支払いトランザクションにフラグを立てることにより、オンライン支払い不正を減らす。

– 新規アカウント不正の検出
正当なアカウント登録とリスクの高いアカウント登録を正確に区別することで、電話や電子メールに

AWS学習を加速！Skill Builderの活用法：日本語化・フィルター・学習プラン

# はじめに
みなさんはAWSについて学習する時、何を使っていますか？
公式ドキュメントやホワイトペーパー、クラスメソッドさんのようなWeb記事、書籍、Udemyのコースなど、世の中に多く溢れているコンテンツをから必要に応じて選択していると思います。

その中で今回紹介したいのが、AWSの学習に特化したプラットフォーム「[AWS Skill Builder](https://aws.amazon.com/jp/training/digital/)」 です。
公式が提供しているとても優れたサービスなのに、なぜか日本ではあまり話題にならないこのプラットフォーム。理由はおそらく「**わかりにくさ**」にあると思います。

この記事でAWS Skill Builderのわかりにくい部分を解消して、ぜひ活用してもらえたらと思います。
![スクリーンショット 2023-07-26 22.53.11.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/434874/fafb1c90-4c80-9025-fd73-32b77

AWS SAM超入門 – 準備からLambda関数のデプロイまで

## 概要
今までLambdaコンソールから手動で関数を書き換えたり設定値を変更してデプロイを行なっていました。
手動作業が多くて危険だったのでAWS SAMを試すことにしました。
動作の理解として超簡単な入門コードでSAMを試してみたので残します。

## 前提
対象AWSアカウントのプロファイルをconfigに設定していること
Node.js 18.x でタイムアウトが3分のLambdaをデプロイしてみます

## 全体図
[](https://gyazo.com/2585b8aec1dbaa99787b5e4d76c54b72)

## SAMについて
– Lambda関数コードだけじゃなく、タイムアウト値やトリガーといった設定までテンプレート(SAMファイル)で管理できる
– デプロイパッケージをS3にアップロードしてCloudFormationがLambdaに展開させる

## SAMのインストール
“`terminal

[AWS CDK]RDSのInstancePropsとInstancesのDeprecatedに対応する

CDKで出力された以下のRDSに関するWARNINGへの対応を調査・検証した結果を共有したいと思います。現状作成されているRDSリソースを傷つけることなく修正する方法が提供されていました。

“`bash
[WARNING] aws-cdk-lib.aws_rds.DatabaseClusterProps#instanceProps is deprecated.
– use writer and readers instead
This API will be removed in the next major release.
[WARNING] aws-cdk-lib.aws_rds.DatabaseClusterProps#instances is deprecated.
– use writer and readers instead
This API will be removed in the next major release.
“`

全コードはGithubを参照してください。
[Githubはここ](https://github.com/Shin

Amazon ECSのタスク定義の問題によってコンテナ間接続ができないときの対処法

## 事象
BFF（Backend For Frontend）コンテナにログインし、GraphQLのリクエストを送ったところ、エラーログに以下のエラーが表示されてました！このリクエストは、BE（Backend）コンテナに接続します！
**Error: connect ETIMEOUT 0.0.31.144.80**

“`
aws ecs execute-command –cluster クラスタ名 –task タスクID –container コンテナ名 –interactive –command “/bin/sh”
curl -X POST -H “Content-Type: application/json” -H “Authorization: Bearer トークン” –data ‘クエリ’ BFFエンドポイント/graphql
“`

## 対処法
タスク定義の環境変数でBEエンドポイントを設定する際に、スキーム（http://）を含め忘れていたことが原因でした！これを追加することで問題は解決しました！

なかなかないかもしれませんが、コンテナ間接続を行うに

【AD】Active Directoryサーバの構築

# はじめに
備忘録記事です。

説明とかも自分が分かる程度に記載しているので結構適当かも知れないです。

# Active Directoryサーバの構築
## 前提
* Windows サーバ構築済みでRDP接続可能な状態（サーバ名：ad-server）
* ADにドメイン参加する用のサーバも構築済みでRDP接続可能な状態（サーバ名：user-server-01）

## OSバージョン

## Active Directory 構築
まずは ad-server で作業

サーバ情報確認
`Primary Dns Suffix`は設定なし。
“`
C:\Users\Administrator>ipconfig /all

Windows IP Configuration

Host Name . . . . . . . . . . .

AWS ECRのイメージタグ付けを簡単に行う方法

# はじめに
ECRのイメージタグ付けを、Lambdaで簡単に行う手順です。

ECRのイメージタグは、マネジメントコンソールから編集できず、不便な場合があります。
CLIで設定出来るのですが、お手軽に設定できるようにしました。

# やりたいこと

### ECRのリポジトリ
このようにリリースしてみたが、前のバージョンに戻したい、releaseタグを前のバージョンに付け替えたいときなどに、本ツールが使えます。

これは一例で、後からタグをつけたい場合や、タグを整理したい場合などにも使えます。

# 準備
Lambda関数を準備します。詳細は割愛します。Lambdaのスペックは最弱でOKです。
## IAMポリシー
“`json
{
“Version”: “2012-10-17”,
“Statement”: [

【2023年】2週間でAWS認定ソリューションアーキテクトアソシエイトに合格した話

## はじめに

記事をご覧いただきありがとうございます。

本記事では、[AWS認定ソリューションアーキテクトアソシエイト(SAA)](https://aws.amazon.com/jp/certification/certified-solutions-architect-associate/)の合格体験談についてお話します。

※なお、本記事や試験に関する情報は2023/4/19時点(受験時点)のものですので、試験概要は常に最新の情報を参考にしてください。

## 対象者

本記事は以下のような方を対象としています。

– AWS初学者の方
– AWSの資格をまだ持っていない方
– IT系資格を取りたい方

## 私について
経験
– 開発経験：ほとんどない。(3ヶ月くらい開発案件に入ってた経験あり)
– AWS経験：Cloud9やCloudFormationは触ったことある
– 保有資格：基本情報技術者試験(約1年前に合格)、AWS認定クラウドプラクティショナー(通称CLF、SAA試験合格の約3ヶ月前に合格)

SAA受験のきっかけ
– CLF合格後、AWSにより興味を持ったた

Databricksの特徴とアカウント開設の手順を整理した

# 背景・目的
Databricksについて調べる機会がありましたので、特徴を整理しアカウントを作成するまでを記載します。
なお、本記事はDatabricksのドキュメントを翻訳し、簡単に整理したものになります。

# まとめ
– レイクハウスプラットフォームには下記の特徴があります。
– 統合
– 単一プラットフォームで分析とAIに対応
– オープン
– 他のツールと統合が容易
– プラットフォームに依存しないセキュアなデータ共有が可能
– スケーラビリティ
– シンプルなデータパイプライン〜大規模LLMまであらゆるワークフローに対応
– データ管理とエンジニアリング
– 自動化された信頼性の高いETL
– オープンでセキュアなデータ共有
– 超高速性能
– 構造化/非構造/半構造をデータレイクに格納
– データウェアハウス
– Databricks SQL
– 従来のクラウド型のDWH

[AWS]Default Host Management Configration(DHMC)でIAMロールなしでEC2をマネージドインスタンスに

# はじめに

本投稿ではSystemsManagerの機能の一つであるDefault Host Management Configration(DHMC)を使って、EC2インスタンスにIAMロールをアタッチせずにマネージドインスタンス化する方法について解説したいと思います。

:::note warn
`IAMロールなしで`とタイトルに冠しましたが、厳密には`インスタンスプロファイルにSSM操作用のIAMロールをアタッチすることなしで`となります。
DHMC用にIAMロールは用意する必要がありますのでご了承ください。
:::

# Default Host Management Configration(DHMC)とは

https://docs.aws.amazon.com/ja_jp/systems-manager/latest/userguide/managed-instances-default-host-management.html

詳細は上記ドキュメントの通りですが、端的に言うと`EC2にIAMロールがアタッチされていない場合に、デフォルトで使用されるIAMロールを指

AWS 高度なネットワーク(ANS-C01)合格体験記

# スペック

* AWS歴は8年ぐらい
* ソリューションアーキテクトプロフェッショナルは2023年1月に合格
* ネットワークスペシャリストに2023年6月に合格

# 背景

みなさんの記事とかをみるとAWS資格全制覇みたいな中で取得されていることが多いみたいでした、その中ではわりと特殊な考え方でとっているかな〜と思います。

1. SAPを勉強している中でDXとTGWなどネットワークのところがいまいちしっくりこない。。業務でもあまりやる機会がないので、あんまりコンソールの画面もしらないな〜と思い始める。ドキュメントを読むとBGPやらASやらの話がでてきて、、よくわからんなと思いながらやりすごす。
1. SAP合格してから自分のネットワーク知識があまりないなと思ったので、よりベーシックな内容を学び直そうと思い、ネットワークスペシャリストの資格取得を目指す。
1. 6月でネットワークスペシャリスト合格達成できたので、あらためてANS-C01合格目指そうという流れです。

ちなみにハイブリッドクラウドがこれから当分は主流なのかと思ってたりはするので、このあたりの知識は持っていると環

Session ManagerでEC2に接続しようとしたらError発生 2023/07/26

# 今回のエラー内容
EC2にSSM経由で接続しようとコマンドを入力した結果エラーが発生しました。
“`bash
aws ssm start-session –target {インスタンス-ID} –profile {プロファイル名}
An error occurred (TargetNotConnected) when calling the StartSession operation: {インスタンス-ID} is not connected.
“`

# 結論
VPCエンドポイントのインバウンドルールにHTTPSがなかったことが原因でした。

# 調査の過程
### EC2にEC2 Instance Connectを使用して接続して、SSM Clientのログを確認
上記注意点として、EC2にいったんSSH接続可能なインバウンドルールを適用する必要があります。
SSH接続ができたら、`sudo ls /var/log/amazon/ssm`でファイルを確認して、`sudo tail /var/log/amazon/ssm/errors.log`でログを確認します。
“

Prometheus/Loki/Grafanaを使ってメトリクス、ログを監視してみる

# はじめに
社内でも監視ツールのコスト見直しによりOSSを使った監視ツールの検討・導入が進んでいるため、まずは検証環境で実際に構築して、個人の理解を深めることを目的としています。

# やりたいこと
監視サーバ（Grafanaのダッシュボード）から監視対象サーバの下記メトリクス、ログを可視化する。
– CPU使用率
– メモリ使用率
– sshdプロセスの死活監視
– /var/log/messagesのログ
– /var/log/crondのログ

—

## 概要図

—
## 成果物
今回の検証で下図のようにGrafanaでログ、メトリクスのダッシュボードを作成し可視化ができました。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/