AWS関連のことを調べてみた2022年01月07日

Amazon EC2でマインクラフトサーバー(Java版 ver.1.18)を作成する

# はじめに
マインクラフトサーバー(Java版 ver.1.18)の作成をしていたのでメモ。
ver.1.18からはJDK17が必要になりインストールの方法も色々あるので自分なりにいろいろ調べてAmazon Correttoを使用してインストールするのが楽そうだったので紹介。

https://aws.amazon.com/jp/corretto/

# 環境構築
適当なEC2インスタンスを立ててsshしてインスタンスに入ります。
今回は`Amazon Lunux2`の`c5a.xlarge`で作成。(インスタンスのサイズは以前サーバーを作成した時と同じものを使用。 5人くらいで遊んでました。)

“`
# Amazon CorrettoでJDK17をinstall
$ sudo rpm –import https://yum.corretto.aws/corretto.key
$ sudo curl -L -o /etc/yum.repos.d/corretto.repo https://yum.corretto.aws/corretto.repo
$ sudo yum in

AWSセキュリティサービスめも

# 検証済み

– WAF
– WAFは別記事
– IAM Access Analyzer
– CloudTrail
– Config
– SecurityHub
– Detective
– GuardDuty
– S3 Access Analyzer

# 検証予定

– CloudTrail Insights
– Trusted Advisor
– Well-Architected Tool

WAFめも

# 検証済み

– Firehose経由でのS3ロギング
– ログをS3 Selectでチェック
– ログをjqでパース, 特定の値を取り出す, CSVにする
– 地理的IP制限
– スコープダウンステートメントでのFalse Positive回避(複数文字列のor条件)
– ロギングをFirehose経由からS3直にする
– CVE対応で特定のルールでのBLOCK状況をCloudWatchでメトリクス化する、ダッシュボードを作成する(データがないので作る手前まで)
– S3のイベント通知でslackのwebhookに送信

# 検証予定

– 特定のルールでのBLOCK時にはslack通知しない

[ElasticCache] RedisとMemcachedは結局なにが違うのか。

# はじめに
SAAの勉強をしていると避けては通れないElasticCache。
ハンズオン学習にはちょっと敷居が高い……！
それはまあいいんですけど、困ってしまうのは「 RedisとMemcachedのどちらを選択すればいいですか？」系の問題が出題されたときです。

結局RedisとMemcachedってなにが違うんだ！！！
なにが違うんだ！！！（2回目）
という自覚がAWS公式の方にあるのかは知りませんが、解説が提供されています。

https://aws.amazon.com/jp/elasticache/redis-vs-memcached/

公式の記事を読み込めば済む話ではあるのですが、勉強がてらRedisとMemcachedについて纏めてみます。

# ElasticCacheとは

本題の前に、ElasticCacheのおさらいです。

ElasticCacheを一言で言えば、AWSの提供するインメモリデータストアです。
すべてのデータは**メインメモリ（主記憶装置）**にのみ保存および管理されます。
メインメモリに直接保存されるため、データの参照時にディスクにアクセ

AWS / CircleCI / Docker を使ったアプリの完成(仮)

# プロフィール
・実務未経験の27歳
・大学院卒業 〜 現在まで約2年フリーターとして就業中
・週3, 4勤務
・プログラミングスクール卒業生

目標にしていたAWS、Docker、CircleCIの導入ができたので一旦これでポートフォリオの完成にしようと思います。インフラの勉強むずい！

# ポートフォリオについて

## はじめに
一般公開しています。何かコメントいただけるととても嬉しいです:smile:
https://www.nitinitikoretanren.net/

## 機能一覧
日々の運動習慣を記録できるアプリで、機能は大きく分けて三つあります。

1. 運動した時間や走行距離などをグラフとして描画できる機能
2. 基本的なCRUD機能を持つつぶやき投稿（つぶやきの新規作成、編集、削除、一覧表示）
3. つぶやき投稿に対するいいね機能

## テストユーザーの使用例
* ランニング → 走行距離・走行時間
* 筋トレ → 筋トレ部位・筋トレ時間

上記のように、ユーザーは「ランニング」と「筋トレ」に分けて運動を記録することができます。
それらのデータを使って三種

AWS SAA合格までに無駄使いした費用

#はじめに

本記事は、AWS SAA-C02（AWSソリューションアーキテクトアソシエイト）を取得したい人に向けに、2回落ちた私が勉強費用、受験料でどれだけ無駄使いをしたかを記載します。

#勉強費用（教材費）

AWS SAA取得に向けてまず教材費は不可欠です。私は、単行本とKindleを両方購入しました。

### AWS認定資格試験テキスト AWS認定ソリューションアーキテクト – アソシエイト 改訂第2版

実際のAWSを使ったシステムの豊富な構築経験と深い知識を持った著者が、合格のポイントになる知識と解答の考え方を理解できるように構成しています。
さらに、練習問題と模擬問題で知識を解答につなげる力がしっかりと身につきます。

・単行本 2,618円(税込)
・Kindle 2,356円(税込)

https://www.amazon.co.jp/AWS%E8%AA%8D%E5%AE%9A%E8%B3%87%E6%A0%BC%E8%A9%A6%E9%A8%93%E3%83%86%E3%82%AD%E3%82%B9%E3%83%88-AWS%E8%AA%8D%E5%AE%9A%

[初心者向け]VPC作成からRDS接続までをそこそこ丁寧にまとめてみる。③RDS作成から接続まで

# 前回までの記事
本記事の趣旨及びVPCの作成を解説しています。
[[初心者向け]VPC作成からRDS接続までをそこそこ丁寧にまとめてみる。①VPC作成まで](https://qiita.com/kmmz/items/53b4fbd64ccbfcaf9ee0)

EC2の作成からSSH接続までを解説しています。
[[初心者向け]VPC作成からRDS接続までをそこそこ丁寧にまとめてみる。②EC2作成～SSH接続まで](https://qiita.com/kmmz/items/2920659fbe7ad2b0ef5f)

今回の記事で最後です。パパパッと作成してみましょう！

# 4.RDS作成

RDS（Amazon Relational Database Service）は、名前の通りリレーショナルデータベースです。もう少し厳密に言うと、6種類のDBMS(データベースマネジメントシステム)を、クラウド上で動かすことができるサービスです。

|費用|名称|
|:—|:–|
|有償|「Amazon Aurora」「OracleDatabase」「SQL Server」|
|無

[初心者向け]VPC作成からRDS接続までをそこそこ丁寧にまとめてみる。②EC2作成～SSH接続まで

# 前回の記事

本記事の趣旨及びVPCの作成を解説しています。
[[初心者向け]VPC作成からRDS接続までをそこそこ丁寧にまとめてみる。①VPC作成まで](https://qiita.com/kmmz/items/53b4fbd64ccbfcaf9ee0)

# 2. EC2作成

EC2(Amazon Elastic Compute Cloud)は、コンピューティングキャパシティを提供するサービス、つまりサーバーに必要なもの一式をレンタルできるサービスです。

EC2の学習にあたっては、公式ドキュメントやサービス別資料（ブラックベルト）なども参考にしてみて下さい。

>[Amazon EC2とは](https://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/concepts.html)
>[AWSサービス別資料](https://aws.amazon.com/jp/aws-jp-introduction/aws-jp-webinar-service-cut/)

EC2は簡潔に言うと、空っぽのサーバーです。
そのため、RD

S3にCSVファイルをアップロードしたらDynamoDBに書き込んでくれるLambdaをGolang1.xで書いてSAMでデプロイする

GoでLambdaを書いてる記事が意外と少なかったので、備忘録を兼ねてさくっとまとめます。
ハマりどころもメモ程度にいくつか併記したので、別途ググってみてください。

完成したコードは最後にあります。
また、DynamoDBのテーブルは「アプリ内のお知らせ機能で新しいお知らせを打つために、データのCSVをバッチ処理でDynamoDBに書き込む」という目的でつくったものです。
後半でそんな感じの記述が出てきますので、それぞれの用途に応じてよしなに読み替え書き換えてください。

# 諸々のバージョン

“`:go.mod
module hoge

go 1.16

require (
github.com/aws/aws-lambda-go v1.27.1
github.com/aws/aws-sdk-go v1.42.25
)
“`

Goは1.16である必要はなく、動かしたいものが動くバージョンであればOKです。
aws-sdk-goのREADMEには「Go1.5で`go get`するならちょっと注意が必要だよ」みたいな注意書きがあるので、少なくとも1.5以上なら動くのでしょう

CloudFront – ALB – EC2 構成を作る

完成図
—


下準備
—

①VPC・サブネット・igw・ルートテーブル・EC2を作成して
EC2内のapacheとかnginxを起動してブラウザでページが見えるようにしておく

②マネコンでRoute53・ACM（東京）・ACL（バージニア）・ALB・CloudFrontを
別タブで開いておく

③ドメインを設定するサイトを開いておく
ムームードメインとか。freenomとか。

ALB作成
—
ACM証明書を作成します。（東京・バージニア両方で）
作成したら③ドメインを設定するサイトに証明書のCNAMEを登録します。
少し待つと、証明書のステータスが発行済みになります。

ALBを作成します。

リスナー80番は443番にリダイレクトさせて、
リスナー443番はさきほど作成したACM証明書（東京）を指定します。
A

アクセスキー無しでIAMロールだけでMATLABからAWSのS3ストレージにアクセスする方法

# MATLAB本体でできるクラウドストレージへのファイル読み込み・書き込み
**MATLAB** では本体機能(Toolbox 無し)で、Amazon の**S3** (Simple Storage Service)やAzure の**BLOB** ストレージといったクラウドのストレージサービスにアクセスできます。
近年のバージョンアップでクラウドストレージへの対応関数も強化されています。

全てではないですが、まとめると以下のとおりです。

* 読み込み
* **datastore**、**imageDatastore**、**fileDatastore**、**tabluarTextDatastore** (R2017a～)
* **readtable**、**imfinfo**、**imread** (R2018b～)
* **readtimetable**、**readmatrix**、**readcell**、**parquetinfo**、**parquetread**、**parquetDatastore** (R2019a～)
* **audioread**

Glueのジョブメトリクスを確認する

# 背景・目的
– Glueで、50KiB/個 * 204,800,000個程度のファイルを、一定程度の個数（1,000個）を読み込むジョブを組みました。（これをファイルがなくなるまでループします、）
– 8H程度処理したタイミングでログを確認したところ、一回あたりの処理時間が延びてきた（※）ので原因を調査することにしました。いくつか選択肢がありますが、まずはメトリクスから確認してみます。
– ※　処理時間（CWLに出力したログから算出）
– 49〜50回目あたりから徐々に遅くなり、65回目から急激に遅くなっている。

|ループ回数 | 実行時間 |処理時間|
| :–:| :– | –:|
|1 | 2022-01-05T12:50:42.059+09:00 〜 2022-01-05T12:58:44.038+09:00| 8分2秒|
|2 | 2022-01-05T12:58:44.038+09:00 〜 2022-01-05T13:06:17.517+09:00| 7分33秒|
|3 | 2022-01-05T12:58:44.038+09:00 〜 2022

Kubernetes on Amazon EC2 環境構築編 ~新人がやってみた(1)~

このシリーズは、入社1年目の新人がEC2上にKubernetes環境構築を色々試行錯誤して、上手くいった手順をまとめたものです。

#はじめに
本シリーズは、EC2上にKubernetesクラスターを構築する環境構築編(本記事)と
KubernetesクラスターにPodやServiceなど5つのリソースを作成するリソース作成編、
最後に、KubernetesクラスターにElasticSearchとKibanaを導入する運用監視編の三部構成になっています。

この記事ではEC2上にKubernetesクラスターを構築するまでの手順を書いてます。
リソース作成編や運用監視編の記事は、以下になります。

– Kubernetes on Amazon EC2 環境構築編　(本記事)：EC2上にKubernetesクラスターを構築するまでの手順を書いてます。
– [Kubernetes on Amazon EC2 リソース作成編(今後公開予定)]()：Kubernetesの5つのリソース(PodやServiceなど)を作成する手順を書いてます。
– [Kubernetes on Amazon

爆速でMFAを突破する

※oath-toolkit導入済みとします

“`
oathtool –totp –base32 ‘XXXXX_SECRET_KEY_XXXXXXXXX’ | pbcopy
“`

これをコンソールで叩けばMFAのトークンがクリップボードに保存されて爆速認証ができる

AWS データレイクハンズオン – Lab6 –

# 背景

データ分析を勉強する一環で、データレイクハンズオンに取り組む。
(そろそろ課金が大きくなってきたので、ひと段落したらシステムはばらす予定)

# ハンズオンに取り組む

## Lab6: サーバーレスでデータの ETL 処理

主に使用するサービス:

– Glue
– Athena

### Section1: Glue の ETL 処理

#### Step1: IAM ロールにポリシーを追加

#### Step2: Glue Crawler を使ったスキーマの自動生成

Lab4 実施済みのため、スキップ。

#### Step3: Glue で ETL ジョブ作成と実行

#### Step4: Glue クローラの作成と実行

#### Step5: Athena でクエリ比較

#### Step6: Glue ジョブで Parquet とパーティショニングを実行

#### Step7: Athena でクエリ比較

これで、一通りのハンズオンが終了したわけだが・・・。

– AWS はやたらお金がかかる (特に EC2, OpenSearch)
– 個人開

GitHubにプッシュすると、CodeCommitへ自動で同期させる方法

#はじめに
GitHubにプッシュするとCodecommitへ自動的に反映させる方法をまとめました。

ミラーリングの詳細です。↓

https://github.com/pixta-dev/repository-mirroring-action

#流れ
1. IAMユーザー作成
– SSHキー作成
– ローカルのconfigの設定
– codecommitリポジトリ作成し、クローンする
– Githubでの設定
– GitHubのActionでミラーリング設定
– GitHubでアクセストークンを作成
– Githubにpushし、ミラーリングの確認

#IAMユーザー作成
下記3つのポリシーをアタッチしたIAMユーザーを作成します。

– IAMUserSSHKeys
– IAMReadOnlyAccess
– AWSCodeCommitFullAccess

#SSHキー作成
ローカルでSSHキーを作成します。

“`
$ cd ~/.ssh

$ ssh-keygen -t rsa -b 4096 -m PEM -C

Generating

AWS License Manager　を利用して　SQLServerライセンス変更を行った

テナント属性、BYOL、ライセンス込みなどいろいろ制限ありますが、
今回はSQLServerのBYOLからライセンス込みに実施したことを記載します。

まずは、前提条件があります。
①AWS　SSMを利用できること。（SSMロールが必要です）
②License Manager にオンボーディングする
詳細は以下リンクを参照ください。

https://docs.aws.amazon.com/ja_jp/license-manager/latest/userguide/conversion-prerequisites.html

アクセスキーを発行して、SQLのBYOLからラインセス込みに変換するコマンドを実行するだけ変換ができます。便利ですね、
aws license-manager create-license-conversion-task-for-resource \
–resource-arn \
–source-license-context UsageOperation=RunInstances:0800 \
–d

AWS 上で Tanzu Community Edition をデプロイ、Contour と AWS Load Balancer Controller による Ingress の実現

# Chapter I： AWS 上で Tanzu Community Edition のデプロイ
デプロイ方法はこちら VMware JP Blog に記載があるため、詳細を省きます。
[TKG 1.4.0 on AWS の構築][link-01]
[link-01]:https://blogs.vmware.com/vmware-japan/2021/10/tkg-1-4-0-on-aws.html

Management Cluster と Workload Cluster 構成後の AWS アーキテクチャは下記の図になります。

2つの ELB(Classic）は自動的に作られ、Control Plane の API サーバアクセスとして構成されます。

# Chapter I.5 TKG on AWS の LB Service の

DynamoDBデータ型記述子付きJSONをPOJOに変換する方法

[ref_low]:https://docs.aws.amazon.com/ja_jp/amazondynamodb/latest/developerguide/Programming.LowLevelAPI.html
[ref_type]:https://docs.aws.amazon.com/ja_jp/amazondynamodb/latest/developerguide/Programming.LowLevelAPI.html#Programming.LowLevelAPI.DataTypeDescriptors
[ref_capture]:https://docs.aws.amazon.com/ja_jp/amazondynamodb/latest/developerguide/streamsmain.html
[ref_mapper]:https://docs.aws.amazon.com/ja_jp/amazondynamodb/latest/developerguide/DynamoDBMapper.html

## ユースケース

[Amazon DynamoDB

AWSでハニーポット(T-Pot 20.06.2)を構築する

#はじめに
T-PotをAWS上に構築するにあたり、「このサイトを参考にすれば全て完結できる」というサイトを見つけることができなかったので備忘録ということでインスタンス作成からT-Pot構築をまとめておこうと思います。

#インスタンス作成
T-PotをAWS上に構築していくのでまずはインスタンスを作成する必要があります。
T-Pot 20.06.2ではAmazon linuxやUbuntuではインストールすることが出来ないので、Debian 10を選択する必要があります。

AWSのリージョンについてですが、私はオレゴンにしました。
オレゴンを選んだ理由としては、月に使用する料金を5,000~10,000円と決めていたので、少しでもインスタンスの使用料金を落として稼働時間を長く取りたかったからで