AWS関連のことを調べてみた2021年11月16日

AWS EFSのバーストクレジットとスループットの算出方法について調べてみた

ある日、CloudWatch のメトリックスを確認していたところ、あることに気づきました。

# EFSのバーストクレジットが減っている！

ECS の永続的データの保管領域として利用している EFS において、バーストクレジット (BurstCreditBalance) が徐々に減少していることに気づきました。

## EFSにおけるバーストクレジットとは
詳細については以下のドキュメントに記載があります。

* [Amazon EFS パフォーマンス](https://docs.aws.amazon.com/ja_jp/efs/latest/ug/performance.html)
* 原文: [Amazon EFS performance](https://docs.aws.amazon.com/efs/latest/

AWS EC2にてPHPのRedis拡張機能を有効化する。

PHPのREDIS拡張機能を追加する。

手順はシンプル
・インストール
・有効化

**※以下、インストール**
インストールにはpeclを利用する。

## peclインストール

“`
wget http://pear.php.net/go-pear.phar
php go-pear.phar
“`

インストール時にオプション指定をいくつか設定できるが、
筆者はデフォルト設定にしたためEnterを押した。

## PATHの追加
“`
export PATH=$PATH:/home/ec2-user/pear/bin
“`

## redisのインストール
“`
sudo pecl install redis
“`

**※以下、有効化**
## php.iniに以下を追加
“`
extension=redis.so
“`

## Apache再起動
“`
sudo service httpd restart
“`

# 参考
https://pear.php.net/manual/en/installation.getting.php
https://se

SageMaker Clarifyで分析できるバイアスメトリクスを理解したい

## 目標

以下、2つのドキュメントに書いてある内容を理解する。

https://docs.aws.amazon.com/sagemaker/latest/dg/clarify-detect-data-bias.html

https://docs.aws.amazon.com/sagemaker/latest/dg/clarify-detect-post-training-bias.html

## バイアスメトリクス

Amazon SageMaker Clarifyの元ネタ論文であるところの [Fairness Measures for Machine Learning in Finance](https://pages.awscloud.com/rs/112-TZM-766/images/Fairness.Measures.for.Machine.Learning.in.Finance.pdf) の後ろの方に各バイアスメトリクスの定義と簡単な説明をまとめたテーブルが記載されている。

![image.png](https://qiita-image-store.s3.ap-

【AWS】 Terraform & Serverless による IaC の導入

以前、ポートフォリオとしてタスク管理アプリを作成しました。そのインフラ構成には主にAWSを利用していましたが、大部分がAWSマネジメントコンソールからの手作業によって作成していました。

この方法は、初めて触れる技術を使用してインフラを構築する場合であれば、画面の指示に従いながら進めていくことができるというメリットがあります。しかし、インフラが大きくなり複雑化すると次第に管理が難しくなってきます。利用されているリソースを把握し、その変更が他へ与える影響も考慮する必要があります。

これらの問題に対応するため、インフラをコードで管理する **Infrastructure as Code** (**IaC**) を導入しました。これによって、使用されているリソースや依存環境が明確になり、またインフラの構築や削除をコマンドで容易に行えます。

IaCを実現するためのツールはいくつかありますが、ここでは**Terraform**と**Serverless Framework** (Serverless) を用いることにしました。Terraformのみで全ての構成管理を行うことも可能だと思います

困ったことと解決したことメモ_20211115

#AmazonForecast
https://dev.classmethod.jp/articles/amazon-forecast-getting-start/

https://dev.classmethod.jp/articles/amazon-forecast-improvement-by-option-dataset/

Jenkins slave nodeの追加

#事前準備
masterノード: 1台のAWS EC2インスタンスを作成しておく。
slaveノード: 1台のAWS EC2インスタンスを作成しておく。

# slaveノードの配置

“`
sudo yum update
sudo amazon-linux-extras install java-openjdk11
java
sudo useradd -d /var/lib/jenkins jenkins
sudo grep jenkins /etc/passwd
sudo su – jenkins
cd /var/lib/jenkins
mkdir .ssh
mkdir work
cp /home/ec2-user/.ssh/authorized_keys /var/lib/jenkins/.ssh/
chmod 600 /var/lib/jenkins/.ssh/authorized_keys
chmod 700 /var/lib/jenkins/.ssh
“`

# Jenkins web uiでslaveノードの追加と接続
<1>masterノードから、slaveノードに

Amazon linux上のJenkinsインストール

# 事前準備
1台のEC2インスタンスを用意しておく。

security groupを設定しておく。

#1. jenkinsをインストールする

“`
sudo yum update
sudo wget -O /etc/yum.repos.d/jenkins.repo \
https://pkg.jenkins.io/redhat-stable/jenkins.repo
s

[AWS]サーバーで障害が起きた時に自動的にソーリー画面へ切り替える

サーバーで障害が起きた時に、自動的にソーリー画面へ切り替えてくれる機能の紹介です。
AWSのDNSサービスであるRoute53で、フェイルオーバーの機能を利用します。

画像引用元：https://xp-cloud.jp/blog/2017/08/25/1834/

簡単に設定方法を説明すると、

1. S3にドメイン名と同じ名前のバケットを作成し、静的Webサイトホスティング設定を行う
2. S3へメンテナンスページ(index.html)を配置する
3. Route53で既存のAレコードの種別をフェイルオーバーのプライマリに変更する
4. Route53で同名のAレコードを作成して、種別をフェイルオーバーのセカンダリ、行き先をS3のエンドポイントにする

詳細な設定方法は以下。

https://xp-cloud.jp/bl

Shield AdvancedのSNS通知設定で気づいたこと

# これはなに
最近、業務でShield Advancedを入れているのでその中でSNS通知設定に関して気づいたことを書こうと思います。

ShieldAdvancedの構築方法についてはこちらの記事を参考にしました。
https://oji-cloud.net/2021/06/29/post-6379/

## SNS設定
・Shield Advancedを設定するにあたり、保護リソースの設定で**DDoS検出時**と**Rate limit超過時**にSNSTopicで
　通知を飛ばすことが可能です。

ここで1つ考慮できてなかったことがありました。
terraformで作成したはずのSNSが選択肢に出てきませんでした。

この時何となく察しがついたのですが、**SNSは各リソースと同じリージョンに作成する必要があります。**

特定の条件でのみS3の画像URLでCORSエラーが発生する問題をなんとかする

##　要約
– S3に保存した画像URLに対してCloudFront経由でブラウザからアクセスする処理が2種類ある
– 1つはHTMLのimgタグで呼び出す場合
– もう1つはJavaScriptの`new Image()`などでImageElementを操作する場合
– S3とCloudFrontの両方で`Access-Control-Allow-Origin`Headerを正しく設定しているのにJavaScript上で操作する時にCORSエラーが発生したりしなかったりする現象が発生
– S3の画像URLを使用している場合、かつ、Chromeでブラウザのcacheが有効になっている場合、2度目のアクセス時に`Access-Control-Allow-Origin`Headerの付いていないキャッシュしたレスポンスをChromeが返すためCORSエラーが発生してしまう

## 問題が発生してたコード
– 次のように同じ画像URLに対してHTMLのimageタグで使用、かつJavaScript上でも同じ画像に対して処理を行おうとしていた

“`html

Terraformで特定のResourceのみを取り扱う

## はじめに

これまでの検証はこのように対象別にフォルダを分けて行っていました。
そのフォルダごとにinit、plan、applyを実行していました。
さらに面倒なのがterraform.tfvarsとvariables.tfは同じもの。
各フォルダにコピーしていました。

“`
└terraform
├ec2
│ ├terraform.tfvars
│ ├variables.tf
│ └ec2.tf
├ec2ssm
│ ├terraform.tfvars
│ ├variables.tf
│ ├ec2.tf
│ └role.tf
└s3
├terraform.tfvars
├variables.tf
└s3.tf
“`

でも、こういう構成のほうが管理はしやすいですし、作業フォルダも一箇所で済みます。

“`
└terraform
├terraform.tfvars
├va

TerraformでS3バケットを登録

## はじめに

前回、前々回と、TerraformでEC2インスタンスを構築してみました。
業務でS3を構築する必要があるとのことなので、代わり映えがありませんが、今度はS3にバケットを構築してみようと思います。

## 目標

Terraformを使ってS3バケットを構築。
マネジメントコンソールは一切使用しないこと。

## 参考

[初めてのTerraform](https://qiita.com/class2glass/items/6a55f6a1627780bbbb35)
[SSMでEC2にアクセス](https://qiita.com/class2glass/items/5749d47f6dca79c84c50)
[iResource: aws_s3_bucket](https://registry.terraform.io/providers/hashicorp/aws/latest/docs/resources/s3_bucket)

## 手順

まずは作業フォルダでTerraformコマンドが利用できるよう初期化処理を行います。

“`
# terraform

【AWS初心者】IAMユーザーを使ってEC2上にWebサーバーを作る。パート２

AWS初心者がAWSを触ってみたいと思い、EC2上にWebサーバーを構築することにしました。
不備があればご指摘頂けると助かります。よろしくお願いします。
今回はEC2上にApacheのインストールを行います。

【AWS初心者】IAMユーザーを使ってEC2上にWebサーバーを作る。パート１
https://qiita.com/Pell/items/2bf123ea18d1321a62be

# 本記事の環境
* AWSのIAMユーザー
* ホストOS：Windows10 Pro 64bit 16GB
* ゲストOS：Amazon Linux 2
* Tera Term：4.105
* Apache：2.4.51
* php：本記事では未導入。追々実施予定。
* データベース：本記事では未導入。追々実施予定。

※別途、運用資金も必要です。

# (サーバーが停止中であれば)インスタンスを開始する。
* インスタンスを開始する。
* IPアドレスを固定化していない(Elastic IPが未作成、未紐づけ)場合は「パブリック IPv4 アドレス」が前回と変わっているためメモする。

#

100

#00
#SSH接続でEC2に接続できないときに
IPポート２２を介してインバウンドトラフィックを許可するセキュリティグループを設定する
#インターネットからのトラフィックをEC2に届ける
インターネットに面した Application Load Balancer は、ALB を指す外部 DNS を使用して、基盤となる EC2 インスタンスを公開する。
EC2をエンドポイントとしてインターネットに面したALBを起動する

#01
#負荷軽減　ウェブ層のコスト最適化、予想されるトラフィックを処理する
ELB背後のAuto ScalingグループでEC2を起動する
S3n静的コンテンツを指すCloud frontでディストリビューションする
#操作ミスによるEC2インスタンスの削除を防ぐ！終了保護の設定方法

disable-api-terminationオプションを指定

https://dev.classmethod.jp/articles/tsnote-ec2-disable-termination-001/
#高可用性を確保する

可用性（Availability）とは、システムを

CDKであるあるWebホスティング構成を構築・デプロイする

以前の記事でだいぶざっくり書いたが、もう少しStep-By-Stepで再現性の確認も兼ねて本記事に再度まとめることにした。


## 環境構築

“`
$ npm i -g aws-cdk

$ cdk –version
1.132.0 (build 5c75891)

// インフラ/バックエンドの作業ディレクトリ
$ tree
.
├── bin
│ └── main.ts
├── lib
│ └── hosting-stack.ts
├── node_modules
├── package-lock.json
├── package.json
└── tsconfig.json
(一部略 cdk initで構成)

// フロントエンドのCICDパイプラインの作業ディレクトリ
$ tree
.
├── bin
│ └──

外部システムから投入されるSQSキューをLaravelで監視処理する

# はじめに

[Laravelのキュー](https://readouble.com/laravel/6.x/ja/queues.html)はLaravelから投入してLaravelで処理する前提になっているので、そのままだと外部の仕組みから投入したメッセージを処理することはできません。

https://laravel.io/forum/02-03-2014-help-with-setting-up-a-queue-listener

この投稿にあるように、`{“job”:”Acme\Jobs\PushFilesJob”,”data”:{“file_id”:”1″}}`のようなJSON形式で送信されていないとキューの中身とジョブの紐づけができないからです。

このフォーマットで送ってくれるならいいですが、外部の仕組みだとそうもいかないことがほとんどだと思います。

そこでなんか方法ないかと調べたところよさげなプラグインを発見。

https://github.com/dusterio/laravel-plain-sqs

ただ、README.mdがなかなか不親切だったため導入に難儀