AWS関連のことを調べてみた2020年02月10日

Amazon Personalizeのチュートリアルをしてみた話

# はじめに
今回はAWSさんが用意しているAmazon Personalizeのハンズオンを行ってみたので、そのまとめです

# Amazon Personalize
[公式](https://docs.aws.amazon.com/ja_jp/personalize/latest/dg/what-is-personalize.html)曰く
>Amazon Personalize は、アプリケーションを使用するユーザー向けに個別化したレコメンデーションを簡単に追加できる、開発者向けの機械学習サービスです。

使用例としては
>ユーザーの嗜好や行動に基づくレコメンデーションの提供、結果のパーソナライズによる再ランク付け、E メールや通知のコンテンツのパーソナライズなどに使用できます。
とのこと。

現在鋭意製作中のプラットフォームアプリケーションで、楽曲レコメンドやアーティストレコメンドをおこないたいという要望に対して非常にマッチしているような感じでした。

# ハンズオン

## いきなり感想
感想をまずいうと、本当に簡単にできました！
行ったハンズオンでの作業では

– csvの

Amazon Personalizeのチュートリアルをしてみた話

# はじめに
今回はAWSさんが用意しているAmazon Personalizeのハンズオンを行ってみたので、そのまとめです

# Amazon Personalize
[公式](https://docs.aws.amazon.com/ja_jp/personalize/latest/dg/what-is-personalize.html)曰く
>Amazon Personalize は、アプリケーションを使用するユーザー向けに個別化したレコメンデーションを簡単に追加できる、開発者向けの機械学習サービスです。

使用例としては
>ユーザーの嗜好や行動に基づくレコメンデーションの提供、結果のパーソナライズによる再ランク付け、E メールや通知のコンテンツのパーソナライズなどに使用できます。
とのこと。

現在鋭意製作中のプラットフォームアプリケーションで、楽曲レコメンドやアーティストレコメンドをおこないたいという要望に対して非常にマッチしているような感じでした。

# ハンズオン

## いきなり感想
感想をまずいうと、本当に簡単にできました！
行ったハンズオンでの作業では

– csvの

Debian9でAWS ECR Loginが出来ない時の解決方法

DebianでBuildしたDocker ImageをAWS ECRのレジストリーにあげようとした時、ECR Loginが出来ないことがあります。

OSとバージョンはDebian 9.9、aws cliはapt-get installで入れたものです。

“`
# cat /etc/debian_version
9.9
# aws –version
aws-cli/1.11.13 Python/3.5.3 Linux/4.9.0-9-amd64 botocore/1.4.70

“`

ECR Loginしようとすると以下のようにエラーが出て、ログインできません。

“`
$(aws ecr get-login –region xxxx –no-include-email)
Unknown options: –no-include-email
“`

解決方法は、pip3でawscliを最新バージョンにアップデートすることです。

“`
# apt-get install python3-pip
# pip3 install –upgrade awscli
# a

【初心者】AWS Amazon Linux2でFluentdのfluent-plugin-cloudwatch-logsのインストールに詰まった話

#概要
ログを取ろうと、Amazon Linux2でFluentdは入ったものの、fluent-plugin-cloudwatch-logsでインストールに詰まった。原因としてはrubyの開発環境がなかっただけだった話。

#症状
こんなエラーが生じてうまく入らない。

~~~
$ sudo /opt/td-agent/embedded/bin/gem install fluent-plugin-cloudwatch-logs –no-ri –no-rdoc
Building native extensions. This could take a while…
ERROR: Error installing fluent-plugin-cloudwatch-logs:
ERROR: Failed to build gem native extension.

current directory: /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/msgpack-1.3.3/ext/msgpack
/op

AWS Cloud9をSSH接続で使うまでの手順

AWS Cloud9での環境構築には2種類の方法があります。
今回は**SSH環境**を使えるようにするまでの手順をまとめました。

– **EC2 環境** (新しいインスタンスを作成する)
– **SSH環境** (既存のインスタンスにSSHで接続する)

# EC2環境とSSH環境の違い
お手軽なのはEC2環境、玄人向けがSSH環境と言ったところです。

EC2環境は、Cloud9用のインスタンスを作成して使用します。
ユーザーが選ぶのはOSとスペックだけで、残りはAWSが準備してくれます(カスタイマイズすることも可能です)。詳細は補足にまとめました。

SSH環境は、自分でインスタンスを作成し、Cloud9で操作できるように設定します。
ユーザー自身で、必要なパッケージ等のインストール、ネットワークの設定を行う必要があります。

| 項目 | EC2環境 | SSH環境 |
|—————————-|—————–

【GCP/AWS】判断軸としてのレイテンシ

## どのクラウドのサービス使用すべきか
例えば、AWS AuroraかCloud SQLをどちらを使用するべきかと考えた時に、様々な判断軸で比較をします。
料金、スケーラビリティなどそのフェーズによって様々です。
その判断軸の中で一つ出てくるのが、**レイテンシ**です。
この場合知りたい情報は、クラウド内のサービスを使用した場合とクラウド外のサービスを使用した場合とで、どのくらいレイテンシに差が出るのかということです。
今回はこの件について調査してみました。

## クラウド外のレイテンシ
下記の記事を参考にしています。
[Public Cloud Inter-region Network Latency as Heat-maps](https://medium.com/@sachinkagarwal/public-cloud-inter-region-network-latency-as-heat-maps-134e22a5ff19)

この記事では、 各クラウドのリージョン毎にラウンドトリップタイム(RTT)を算出し、どのくらいクラウド内と外とで数値が変化するかをヒートマップで

AWS Cloud9のEC2へ簡単接続

## Cloud9つかってますか？
世はまさに大Cloud時代。
ってなわけで、クラウドで開発環境構築するのが今後は普通になっていくのかなと。
そこで、AWSのCloud9をつかってサクッと使ってみた。
~~全然つながらない~~たまーに繋がらないなどのトラブルがあるものの、
ひとまずは使えています。

## 本題にうつります
これ、EC２にsshしたいときってどうすんのかなと。
Cloud9あればいいのか？いや、たぶんそういうわけじゃないだろと思ったので
やることを書いていきます。

## キーペア作り
まずはキーペアを作ります。
EC2コンソールの左側ペインから「キーペア」を選択し、
「Create Key Pair」を選択

次にKeyの名前と鍵の形式を選びます。
ここでは名前を

Amazon SESでRule Setが動作しない（送信側で「Requested action not taken: mailbox unavailable」となる）

## 事象

Amazon SESでRule Setが作成してある。

Rule Setの内容。特定のメールアドレスでメールを受信したらアクションを実行するRuleを追加してある。

しかし、別のメールサービスからRule Setで設定したアドレスにメールを送信したところ、`Requested action not taken: mailbox unavailable`エラーとなった。

## 解決

よく見たらRule Setが[Inactive Rule Sets

SQSキュー作成時のパラメータ

# はじめに

今日はAWS SQS（以降SQS）について調べました。
こういうサービスのことは何となく大まかにはわかっていても、知っていること同士がうまく紐付かなかったリ必要な時に出てこなかったりするので、とにかく実機で手を動かしながら各項目について調べまくるようにしようと思っています。

（最近仕事でVPCピアリングを設定する機会がありましたが、すごく基本的なことがわかっていないなと思ったりするなど）

# SQSキュー作成

今日の参考手順。
https://docs.aws.amazon.com/ja_jp/AWSSimpleQueueService/latest/SQSDeveloperGuide/sqs-create-queue.html

手順はマネジメントコンソールでポチポチやるだけなので、設定する項目についてまとめます。

# 必須パラメータ

## 設定値1 : キューのタイプ

コンソールの表示順としては前後しますが、キューの名前を決める前にSQSタイプを指定します。
ざっくり言うと費用面で標準キュー、性能面でFIFOキューが勝りますが、それぞれ用途が異なります。

TABLE 形式の Aurora（MySQL 互換）スロークエリログを Elasticsearch Service (6.8) に取り込み S3 に保存するメモ（Lambda Python 3.8 版）

こちらは、

– **[TABLE形式のAurora（MySQL互換）スロークエリログをElasticsearch Service (6.0/6.2) に取り込みS3に保存するメモ](https://qiita.com/hmatsu47/items/8c92b1a43fd412c054cf)**

の Elasticsearch Service 6.8 / Lambda Python 3.8 対応化メモです。

1 ヶ月ほど前に、

– **[ALB のアクセスログを Elasticsearch Service 6.8 に取り込むメモ（Lambda Python 3.8 版）](https://qiita.com/hmatsu47/items/432b1f18f40bba16f5d1)**
– **[CloudFront のアクセスログを Elasticsearch Service 6.8 に取り込むメモ（Lambda Python 3.8 版）](https://qiita.com/hmatsu47/items/e61e1065ba521896225c)**
– **[Ela

Docker を使って Djangoチュートリアルの Polls アプリを AWS ECS へデプロイするサンプルのようなもの

# はじめに

こちらはDjangoのチュートリアル「[はじめての Django アプリ作成、その１](https://docs.djangoproject.com/ja/2.2/intro/tutorial01/)」のPolls(投票)アプリを Amazon Web Service(AWS) の Elastic Container Service(ECS) へデプロイするサンプル（のようなもの）です。

nginx + uwsgi + python + django + MySQL DB という構成で docker-compose を使っています。
また、デプロイには AWS CLI と ECS CLI を使い AWSコンソールは(ほとんど)使いません。（EC2インスタンス への ssh 接続でセキュリティグループを編集するときにだけコンソールを使用します）

前半はローカル環境上で docker-compose を使い Polls アプリを作成して動かすところまで。
後半で前半に作成した Polls アプリを ECS へデプロイします。

ソースは GitHub 上に公開しています

そろそろaws初めてみよか#3～RDSとの接続～

# はじめに

– [そろそろaws初めてみよか～まずは触れてみた～](https://qiita.com/imp555sti/items/08bef8d74985c2ea1f87)
– [そろそろaws初めてみよか#2～CodeStarによるコード修正からDeployまで～](https://qiita.com/imp555sti/items/9d04bfdbc3b89c1115f9)

前回CodeStarのIDE環境(Cloud9)からコード編集Deployまではうまく行きました。
今度はいよいよ失敗していた(=環境が整っていなかった)DB接続を試します。

# RDSの作成

RDSのコンソール画面の[データベースの作成]から作成します。

今回はMariaDBにしてみました。
![02-1.png](https://qiita-image-

Nexus Helm Chartを複数のDockerレジストリに対応できるようにする

## はじめに
Sonatype Nexusはmaven, gradle, npm, dockerなどに対応したプライベートリポジトリマネージャーです。
権限制御も充実しているのでこれを採用している企業も多いようです。

[公式Helm Chart](https://github.com/helm/charts/tree/master/stable/sonatype-nexus)もあるのでKubernetes上に簡単にデプロイすることができます。
しかしながらデフォルトのChartではDockerレジストリを1つしか作成することができません。
そこで今回はNexus Helm Chartを改変して複数のDockerレジストリに対応できるようにします。

使用したコードは[GitHub](https://github.com/samskeyti88/helm-nexus)にあげてあります。

## 環境情報
macOS Mojave 10.14.1
Helm: 3.0.1
EKS: 1.14
Nexus Helm Chart: 1.22.0

## アーキテクチャ構成
公式のNexus

macOSにAWS CLI をインストールする

## 概要
自身のMacにAWS CLIをインストールした時の備忘録。
[公式ドキュメント](https://docs.aws.amazon.com/ja_jp/cli/latest/userguide/install-macos.html)を元に作業。

## 環境
– macOS Catalina

## 前提条件
– Python 2 バージョン 2.7 以降または Python 3 バージョン 3.4 以降

## 構築

### Pythonのバージョン確認
“`
$ python –version
Python 2.7.16
“`
バージョン2.7以降のPythonがインストールされているから前提条件をクリアしているが、
なんとなく、Python3もインストールする。

### Python3 インストール
“`
# パッケージの検索
$ brew search python3
==> Formulae
boost-python3 python3 python@3 python@3.8

# Python3

Kubernetes The Hard Way – AWS （日本語訳）

# はじめに

CKA受験に向けて[Kubernetes The Hard Way](https://github.com/kelseyhightower/kubernetes-the-hard-way)をやろうと思っていたのですが、慣れ親しんでいるのがAWSであったため、AWSで同じようなことが出来るものがないか探していました。

Github上にいくつか見つけたのですが、いかんせん英語に弱いため、都度都度Google翻訳で訳していました。

今後の学習のことを考えて、フォークして日本語訳を行いました。
[フォーク元](https://github.com/slawekzachcial/kubernetes-the-hard-way-aws)

よろしければ、ご使用ください。
また、間違っている点などありましたら、コメント頂ければ幸いです。

# リンク

https://github.com/danonb10/kubernetes-the-hard-way-aws

【AWS】作成済みのEC2インスタンスを複製する方法~AMIの作成~

# はじめに
似たようなEC2インスタンスを何個も作る際にAMIを使うととても便利だったのでまとめておきます
これによってRubyやNginx、Node.jsなどのパッケージのインストール作業などを何度もやらなくて済み、数分でインスタンスを複製できるのでとても便利でした

# 前提
AWSで作成済みのEC2インスタンスがある

# 対象読者
EC2インスタンスを新規で作成したいけど、パッケージのインストールなど諸々の作業がめんどくさいと思っている人

# AMIって何？
Amazon Machine Imageの略
インスタンスの作成に必要なソフトウェア構成 (OS、アプリケーションサーバー、アプリケーション) を含むテンプレートのこと

EC2インスタンスを作成する際に出てくる以下の画面で選択するのがAMIです
通常はここからAWSが提供しているAmazon Linux 2 AMIなどを選択してEC2インスタンスを作成しますが、
今回はこのAMIを自分で作ってそこからEC2インスタンスを作成するという流れになります
CDKプロジェクトのセットアップ

CDKでなにか作り始める手順のメモ。

## プロジェクトディレクトリの初期化

まずは、アプリケーションの雛形の準備。

“`console
$ mkdir my-cdk-proj
$ cd my-cdk-proj
$ npx cdk init app –language=typescript
npx: 235個のパッケージを25.117秒でインストールしました。
Applying project template app for typescript
Initializing a new git repository…
Executing npm install…
npm WARN deprecated left-pad@1.3.0: use String.prototype.padStart()
npm notice created a lockfile as package-lock.json. You should commit this file.
npm WARN my-cdk-proj@0.1.0 No repository field.
npm WARN

Amazon Corretto 11で構築するLogstash

## はじめに
日頃、AWSで構築したシステムやAWSサービスのログをElasticsearchに取り込んで監視や分析をしています。

Elasticsearchへのログ取り込み方法は、多くのやり方がありますが
自分はLogstashが好きなので使い続けています。

Logstash 6.7以降では、Amazon Linux2に対応しています。
また、同様に6.7以降では、OpenJDK11に対応しています。

そこで、Amazon Linux2でOpenJDK11を使ってLogstashを構築する手順を備忘録的に書きました。

**【参考】**
・ [Product and Operating System][00]
・ [Logstash and JVM][01]

## 利用環境
| product | version |
|———|———|
| logstash | 7.5.2 |
| Java | 11.0.6 |
| OS(EC2) | Amazon Linux2 (t3.small) |
| AMI ID | ami-011facbea5ec036

AWS勉強会のアウトプット

# 今回やったこと
– チュートリアルに沿って「Linux 仮想マシンを起動」をやってみた
– [参考サイト:AWSチュートリアル](https://aws.amazon.com/jp/getting-started/tutorials/)

# Macの操作について学んだことが合った
– 2本指の状態でパットを押すと「右クリックが開く」と同じ役割を果たしてくれる。

# SSHフォルダにキーペアファイルをいれる
– SSHフォルダは隠しフォルダとして隠れている状態。隠しファイルを解除すれば閲覧することができる。
– [参考サイト:隠しファイル・フォルダを表示する方法](https://pc-karuma.net/mac-finder-show-all-files/)
– そもそもフォルダ自体なかったので新規でフォルダを作成。その中にキーペアのファイルを突っ込んだ。

# キーペアの仕組みがイマイチ理解できなかった
– そもそもキーペアってなんぞや？
– ダウンロードフォルダにキーペアファイルがない状態であれば成功。

# インスタンスの仕組みもイマイチ理解できなかった
– チュート

serverless framworkでLambda＋APIGatewayをdeployする

## はじめに
アプリケーションを Lambda にデプロイする際どんな方法を使用しているだろうか？
AWS SUM ,code deploy と使用してきたがコマンドを複数回叩かないといけなかったりとちょっと面倒臭かった。
そこで最近自分の周りで話題になっている serverless framwork を試してみる。
何やらコマンド一つでビルド・デプロイを行ってくれたりとかなり便利らしい。

## Serverless Framework インストール
以下のコマンドを実行し Serverless Framework をインストールする。

“`
$ npm install -g serverless
“`

> ローカル端末で Serverl