AWS関連のことを調べてみた2022年02月08日

AWS(StepFunctions+SSM)でなるべくサーバーレスにUE4のWin64ビルドする環境を作ってみる

AWSでUE4のWin64向けのパッケージビルドをするためにStepFunctionsとSSM(Systems Manager)を利用してなるべくサーバーレスで実行する環境を作ってみました。
StepFunctionsでEC2の起動、終了を管理しSSMのRun CommandでEC2に対してビルドコマンドを実行します。
ここでは作成したAWS環境について記述します。

# 前提
## UE4のクロスコンパイル

[WindowsのUE4でLinux向けのクロスコンパイルは可能](https://docs.unrealengine.com/4.27/ja/SharingAndReleasing/Linux/GettingStarted/)ですがLinuxのUE4でWindows向けのクロスコンパイルはサポートしてないようなのでWin64ビルドするためにはWindows環境が必要そうです。

## Windowsのコンテナ利用でのビルド

以下の理由のためにコンテナを用いたWindowsでのUE4ビルドは現時点では諦めEC2でビルドすることにしました。
(Fargateも利用したいがGPU

AWSCLIでS3バケットを作成・削除・ローカルからファイルのコピーをやってみた

# はじめに
aws cliの学習で、S3のバケット操作を今回学習したのでアウトプットします。

# 環境

“`powershell
$ aws –version
aws-cli/2.4.1 Python/3.8.8 Windows/10 exe/AMD64 prompt/off
“`

# S3バケットの作成

“`powershell
# バケット名はAWS内で一意にする必要がある
$ aws s3 mb s3://

# バケットが作成されたか確認
$ aws s3 ls

“`

# ローカルからS3バケットにオブジェクトをコピー

“`powershell
# ローカルのディレクトリ（ファイル含）を確認
$ tree /f
C:.
│
└─test2
test1.txt
test2.txt

# ローカルのファイルをS3バケットへコピー
$ aws s3 cp test2 s3:// –recursive

# バケット内のオブジェクトを確認
$ aws s3 ls s3://

AWS SAAに合格するために行った勉強法を振り返ってみて

AWSを実務で全く触っていない私がAWS SAA に合格した話です:sunglasses:
スコアは773点でした。

## はじめに
この記事では、私がSAA合格するまでに行った勉強法を振り返り、よかった点ともっとこうしたらよかったなと思う点についてまとめていきます。なぜ取ろうと思ったのかなどの背景部分は省いています。

加えて、試験に臨む意識的な面で役に立ったと思うことを書きます。こちらは、試験前日や試験当日でも役に立つと思います。

勉強法は人それぞれですし、感じたことは主観的な意見になりますが、これからSAA取得に向けて勉強する人に少しでも助けになればと思い書いています。

### プロフィール
事前情報として私のプロフィールについて載せておきます。

・新卒入社1年目。開発系の部署に所属しており、実務でAWSは全く触らない。
・大学は情報系ではない理系の学部に通っており、少しだけプログラミングやIT知識を学んでいた。
・会社の新人研修でインフラの基礎知識やAWSについてEC2, RDS くらいは学んでいた。

IT知識が全くないわけではないが、AWSやインフラについては詳しく

ネットワーク入門　VPCとセキュリティ

# この記事について
私自身の専門業務が機械学習やデータ分析を用いたになるのですが、ネットワークの構築を行うことになり基本を復習したので備忘録として記しておきます。

## 実行環境
AWS利用を想定して記述します。

## VPC
VPCとはVertual Private Networkの略になります。
要はプライベートにルールなどを色々決められる自作のネットワークになります。
AWSなどのクラウドサービスを利用してサーバーを構築する際にはVPCという環境を作成して、そこにサーバーを置く形になります。

### VPCのルール
VPCは主に２つ設定しなければいけないルールがあります。

1. IPアドレスを使用する範囲をどうするか
2. インターネットに繋ぐかどうか
3. VPCを更に小さい単位（サブネット）を複数設けるか

#### 1.IPアドレスを使用する範囲の決定
インターネットはIPアドレスという4桁（6桁もあります）の番号で宛先を指定して通信を行います。
このIPアドレスを指定しないと宛先していない郵便と一緒でどこに送れば良いか分からないため通信が出来ません。
IPアド

PaloaltoVM on AWS(10.0.4) 脆弱性保護プロファイル/セキュリティポリシー

今回は脆弱性保護機能のテストをしたいと思います。VMトライアルラインセスでは動作しなかったため、AWS環境で実施しています。構成は下記の通りです。


## 1. 前提
Publicセグメント内にあるLinuxのみ外部からの接続を許可する形にして、セキュリティグループは10.0.0.0/16で許可。SSHポートフォワードを設定してPalo向けのHTTPSおよびWindows2016へのRDP接続をしています。

Internal-ZoneのWindows2016とDMZ-ZoneのAmazonLinuxはそれぞれのセグメント向けにスタティックルートを設定しています。一時的にインターネットからパッケージを引っ張ってきたりChromeをインストールするために、NATGatewayも設定しました。また、Paloaltoに後から追加したDMZとInte

Amazon SESを使うことで通常のGmailで独自ドメインを利用する -送信編-

# この記事について

準備編、受信編の続き
準備編
https://qiita.com/Sand-River/items/4c0dbb16b70e11ec594a
受信編
https://qiita.com/Sand-River/items/4b22f3d0369ab68cfb3f

# 送信定義
https://docs.aws.amazon.com/ja_jp/ses/latest/dg/send-email-smtp.html

SES Dashboardの「Simple Mail Transfer Protocol (SMTP) settings」から「Create SMTP credentials」を選択


IAM User Nameだけ入力して「作成」
（必要なIAM Policyは自動でアタッチされる。ses:SendRawEm

【AWS】Application Load Balancerにhttpsアクセスできるようにする

前提

– Application Load Balancerに独自ドメインを割り当てている

# SSL証明書を取得する

サービスからCertificate Manegerを選択


証明書をリクエスト


パブリック証明書をリクエスト


– 完全修飾ドメイン名にht

DeepRacer 報酬関数について

# はじめに
DeepRacerでタイム向上を狙う上で最も重要となるのが報酬関数になると思います。
初期状態だと下記のように「track_width(トラックの幅)」と「distance_from_center(車体の中心とトラックの中心の距離)」しか使用していなく、これだけではコースアウトばかりでした。

しかし報酬関数について調べても関数1つ1つに対して詳細に記載があるページは少なかったです。。。
[AWS公式ドキュメント](https://docs.aws.amazon.com/ja_jp/deepracer/latest/developerguide/deepracer-reward-function-input.html#reward-function-input-all_wheels_on_track)に記載がありましたがすぐにコー

DeepRacer 報酬関数無しで学習→評価をするとどうなるのか

# はじめに
報酬関数の比較をするうえで元となるデータが必要でした。
色々調べても報酬関数無しの評価データはさすがに見つかりませんでした。。。

DeepRacerはどんなに報酬関数を作りこんでも、報酬関数無しでも1時間$3.5の料金がかかるのであまり無駄な学習・評価したくないものですよね。。。

# 報酬関数無しでモデル作成

という事で自分で検証してみます！
報酬関数はどんな走りをしても同じ値が返るようにしてモデルを作成し、1時間の学習→評価をしました。

“`
def reward_function(params):
reward = 1e-3
return float(reward)
“`

# 報酬関数無しの結果
![image.png](https://qiita-image-store.s3.ap-northe

【discord bot】マイクラサーバーの起動・停止をdiscordからできるようにしてみた

# はじめに
マイクラのサーバーをdiscordから誰でも起動できるようにしたくてdiscord botからEC2・マイクラサーバーの起動・停止を行えるようにしてみました。
EC2は従量課金制なので、起動していればその分だけお金がかかってしまいます。誰も使っていないのに起動しているのは無駄なので、だれでもdiscordから自由に起動と停止ができるようにしてみました。

# この記事の対象者
– Pythonの基本的な構文が理解できている方
– EC2の制御をdiscord botから行ってみたい方

# 構成図

– __t2.micro:discord bot用__
– __t2.medium:minecraft server用__

discord bot用サーバーは常時動いており、minecraft用サーバーを必要なときに

Amazon SESを使うことで通常のGmailで独自ドメインを利用する -受信編-

# この記事について
準備編の続き
https://qiita.com/Sand-River/items/4c0dbb16b70e11ec594a

# 受信のための設定

https://docs.aws.amazon.com/ja_jp/ses/latest/dg/receiving-email-setting-up.html

前提として準備編でドメインの検証が完了していること。

## DNS定義

利用するドメインのMXレコードとして以下の値を設定する。
10 inbound-smtp._regionInboundUrl_.amazonaws.com

例）バージニア北部（us-east-1）だと
`10 inbound-smtp.us-east-1.amazonaws.com`

## 受信用S3の作成と設定
受信したメールを直接SNSやLambdaに渡す事もできるが、SNSだとサイズの制限（150KB）があったりLambda一発だとロストの心配があったりするので、一旦S3に蓄積する。

https://docs.aws.amazon.com/ja_jp/ses/late

Amazon ECRプルスルーキャッシュリポジトリをVPCエンドポイント経由で試す

# はじめに

Amazon ECRにはプルスルーキャッシュリポジトリという機能があります。
こちらの機能利用し、VPCエンドポイント経由でPublicリポジトリからイメージをPullしてみます。

https://aws.amazon.com/jp/about-aws/whats-new/2021/11/amazon-ecr-cache-repositories/

## プルスルーキャッシュリポジトリとは

簡単に言うと、ECRレジストリにパブリックリポジトリのイメージをキャッシュすることができ、24時間に1回同期も行ってくれるという機能です。
以下公式ドキュメントから引用です。

>Amazon ECR は、プライベート Amazon ECR レジストリのリモートパブリックレジストリ内のリポジトリのキャッシュをサポートします。Amazon ECR は現在、Amazon ECR パブリックおよび Quay のプルスルーキャッシュルールの作成をサポートしています。外部パブリックレジストリのプルスルーキャッシュが作成されたら、Amazon ECR プライベートレジストリ URI を使用

HULFT8 クラウドストレージオプションVer.8.5.4の新機能をご紹介

#はじめに
2022年2月3日「HULFT8 クラウドストレージオプションVer.8.5.4」がリリースされました。
流れの早いクラウドサービスに対応するため、クラウドストレージオプションは、リビジョンアップ毎にできることを増やしてきました。
「Ver.8.5.4」に於いても、新たな機能が追加されましたので、ご紹介してみたいと思います。

[HULFT クラウドストレージオプション 製品概要 | セゾン情報システムズ](https://www.hulft.com/software/hulft-8/hulft-cso)

#Ver.8.5.4の追加機能

下記の機能が追加されました。

　**• クロスアカウントアクセス対応**
　　- 単一ユーザでの複数アカウント利用における課題
　　- 単一ユーザでの複数アカウント利用における課題解決
　**• アクセスポイント対応**
　　- 複数アカウントでのS3バケット共有における課題
　　- 複数アカウントでのS3バケット共有における課題解決
　**• Object Ownership対応**
　　- ACLを利用したアクセスコントロールにお

AWSで使えるマネージドAIサービスのまとめ

AWSで使えるAIサービスについてまとめておきます。

1. Amazon Personalize
1. Amazon Forecast
1. Amazon Transcribe
1. Amazon Comprehend
1. Amazon Rekognition

# Amazon Personalize
ブログ記事でよくある「関連する記事」やECサイトで見かけるレコメンド商品、売れ筋ランキングなどの情報を生成できるサービスです。

# Amazon Forecast
時系列のデータ推移の予測をしてくれるサービスです。
売上、サイトアクセス数などの予測に使えそうです。

# Amazon Transcribe
音声から文字起こしをしてくれるサービスです。
リアルタイムで喋った内容を文字起こしする方法と、音声ファイルを流し込んで文字起こししてくれるジョブ型の処理の両方が利用できます。

# Amazon Comprehend
文章情報の分析を行い、キーワード抽出や感情分析、言語分析などを行うサービスです。
これもその場で入力した内容を分析する方法と、テキストファイルを流し込んで分析をさ

SecurityHubのEC2.8(IMDSv2の使用)を設定してみた

# はじめに
SecurityHubに順守する環境構築を行なっている中で、設定項目EC2.8について設定方法や不明点があったので、その際に学習した内容をまとめます。

SecurityHubって何？という方は前回まとめたので、下記ページをご確認ください。
[AWS Security Hubに関して](https://qiita.com/mani___524/items/eb9a37f8a8a88bb16ddf)

# EC2.8の内容

>EC2 インスタンスでは、Instance Metadata Service Version 2 (IMDSv2) を使用する必要があります。

>このコントロールは、EC2 インスタンスメタデータバージョンがインスタンスメタデータサービスバージョン 2 (IMDSv2) で設定されているかどうかをチェックします。コントロールは次の場合に渡されます。HttpTokensIMDSv2 で必須に設定されています。コントロールは、次の場合に失敗しますHttpTokensは、 に設定されます。optional。
>インスタンスメタデータを使用して、実行中のイ

AWS 環境構築　参考サイト

###EC2 + RDS

【AWS 再入門】EC2 + RDS によるミニマム構成なサーバー環境を構築してみよう

###EC2にSQL
https://www.acrovision.jp/service/aws/?p=2387

###DBをEC2運用からRDS運用に変更
https://haloechoes.com/server-operations/ec2-installation-db-operation-changed-to-rds-operational/

###Docker 使用

https://qiita.com/takuyakawaguchi/items/057165b26fac88641ff1

https://qiita.com/soehina/items/91f0c52929d979df59f7

https://laboratory.kazuuu.net/after-creating-a-docker-container-with-centos-7-install-my

AWS Backup バックアップ形式・費用について (RDSバックアップ時)

#AWS Backupとは
AWS Backupは、一元化されたバックアップ機能を提供するサービスです。
バックアップ対象は様々で、馴染みのあるものだとEC2、EBS、RDS、DynamoDB等のバックアップをサポートしています。その他にも、様々なデータバックアップが可能です。
https://aws.amazon.com/jp/backup/?whats-new-cards.sort-by=item.additionalFields.postDateTime&whats-new-cards.sort-order=desc

#利用方法
利用方法については既にたくさんの記事があるので、本記事には記載していません。公式ドキュメントやブログをご参考下さい。
参考：
・https://docs.aws.amazon.com/ja_jp/aws-backup/latest/devguide/whatisbackup.html
・https://dev.classmethod.jp/articles/aws-backup-perfect-understand/

#課金
AWS Backupの利

Amazon Route 53とAWS WAFとAmazon CloudFrontとAmazon S3で独自ドメインホスティング環境を構築してみた


### Amazon Route 53とAWS WAFとAmazon CloudFrontとAmazon S3で独自ドメインホスティング環境を構築してみました :tada:

事前準備

– 事前にAmazon S3に公開したいファイル一式をアップロード
– 設定は非公開のままでOK

## 構築の流れ

1. [Amazon Route 53で独自ドメイン購入登録](https://qiita.com/dayjournal/items/945613577b3056ec4f71#amazon-route-53%E3%81%A7%E7%8B%AC%

【AWS】EBSをスナップショット取った時のサイズはどんな感じ

#気になったこと
仮に100GBのボリュームに10GBの使っていたらスナップショットのサイズはどんな感じ？
10GB分？
100GB分？

なんとなく100GBな気がする。
10GBだったら、AWS惚れちゃう。

#結果
| ストレージ容量 |スナップショットサイズ|
|:-:|:-:|
|10GB|10GB|
|100GB|100GB|

#乾燥
そりゃそうか。
なお、データの保存先はS3とのことだが、ユーザーから見えるS3バケットには保存されない。
S3の特殊な領域に保存されるとのこと。
公式のマニュアルには記載がないが、調べるとS3に保存されるといろんな人が言っている。

参考
https://aws.amazon.com/jp/premiumsupport/knowledge-center/ebs-snapshot-billing/

【AWS】VPC同士を接続してみた（Transit Gateway 編）

## 概要
ピアリング接続された2つのVPC間の通信を、Transit Gatewayを使用した接続に移行してみた際の備忘録です。

[前回](https://qiita.com/sshimoyama/items/a1d828de38658bcc1875)は、VPCを2つ作成しVPCピアリングによって接続しましたが、今回はその接続をTransitGatewayに切り替えて同じようにVPC間の接続を確認してみます。

### なぜ？

VPCピアリングは1対1のVPC間相互通信を行う場合には非常に有用なサービスです。設定もとても簡単でしたね。

しかし、VPCピアリングには以下のような弱点も存在します。

– ピアリング接続を経由して、その先のVPC、インターネットゲートウェイ、VPN接続等に直接ルーティングすることは出来ない。（隣まではいけるが、「隣の隣」には行けない）
– 相互接続するVPCの数が増えた場合、フルメッシュ構成をとる必要があるため設定が煩雑になる。

詳細は以下のドキュメントが非常にわかりやすいです。

■サポートされていない VPC ピア接続設定
https://do