AWS関連のことを調べてみた2020年01月03日

CodeBuild のリンク

# 参考
https://docs.aws.amazon.com/ja_jp/codebuild/latest/userguide/how-to-create-pipeline.html
https://aws.amazon.com/jp/blogs/news/create-multiple-builds-from-the-same-source-using-different-aws-codebuild-build-specification-files/
https://docs.aws.amazon.com/ja_jp/codebuild/latest/userguide/getting-started.html

【AWS】Elastic BeanstalkでLinux 用 Windows サブシステムを使用せずにLaravelアプリケーションをデプロイする

Elastic BeanstalkでLinux 用 Windows サブシステムを使用せずにLaravelアプリケーションをデプロイ方法です。
本手順では、代わりに、フリーの圧縮・解凍ソフトを使用しています。

## 環境
* PHP：バージョン7.3（Elastic Beanstalk）
* Laravel：バージョン6.9.0
* OS：Windows10（ローカル）

## 手順

[Elastic Beanstalk への Laravel アプリケーションのデプロイ | aws](https://docs.aws.amazon.com/ja_jp/elasticbeanstalk/latest/dg/php-laravel-tutorial.html)
に従って実施します。
タイトルの件を以下に、補足事項としてまとめます。

## 補足事項
手順では、Linux 用 Windows サブシステムを使用するとありますが、以下の通り実行すればインストール不要です。

### 1. Laravelプロジェクトの作成
ローカル環境でコマンドプロンプトを起動して、任意のパスでコマンドを実

AWS CodePipeline QAリンク

# 引用元
一部、理解のために自分の表現に変更
https://aws.amazon.com/jp/codepipeline/faqs/

### Q: パイプラインとは何ですか?
パイプラインとは、ソフトウェアの変更がリリースプロセスをどのように通過するかを明確にするワークフロー構造です。ワークフローをステージとアクションのシーケンスで定義できます。
**[追記]同一のアクションを開発環境、本番環境のように異なる環境に渡すための仕組みと理解**

### Q: リビジョンとは何ですか?
リビジョンとは、パイプラインのために定義されたソースロケーションに加えられた変更です。ソースコード、ビルドアウトプット、設定、データなどが対象となります。パイプラインには複数のリビジョンを同時に通過させることができます。

### Q: ステージとは何ですか?
ステージとは、1 つまたは複数のアクションのグループです。パイプラインには 2 つ以上のステージを設定できます。

### Q: アクションとは何ですか?
アクションとは、リビジョンに対して実行されるタスクです。パイプラインのアクションは、

AppSyncをフロントエンドとバックエンドで利用する

# AppSyncをフロントエンドとバックエンドで利用する

この記事は[サーバーレスWebアプリ Mosaic](https://mosaic.w2or3w.com “Mosaic”)を開発して得た知見を振り返り定着させるための[ハンズオン記事](https://qiita.com/w2or3w/items/87b57dfdbcf218de91e2)の1つです。

以下を見てからこの記事をみるといい感じです。

* [Vue CLIで新規プロジェクト作成と、よくある雛形の実装](https://qiita.com/w2or3w/items/20d393560571f1531041)
* [Lambda + OpenCVで画像処理 (グレー画像作成)](https://qiita.com/w2or3w/items/e6feac50c751bbc64697)

## イントロダクション
アップロードした画像や処理された画像のデータ管理や、クライアント側とのデータ受け渡しのために、AppSyncというAPIを利用します。AppSyncのデータソースにはDynamoDBが使われます。
App

React/Next.jsアプリケーションを作成し、AWS EC2を使って本番環境にデプロイするまで

# 対象
* Next.js 等、Node.js で動かすアプリをローカル環境で作成することはできるが、それを本番環境で動かす方法と仕組みがわからない人
* Heroku や Zeit Now を使うと簡単にリリースできるが、その仕組がさっぱりわかっていない人

# この記事の存在意義
初心者が掲題のことをやろうと思ったときに、全体感を把握できる記事が見当たらなかったので、こういう記事があっても良いかなと思った。

# 流れ
以下のような手順で進める。
1. ローカル環境で動く Next.js を用いたサンプルアプリの作成
2. EC2 インスタンスの作成
3. EC2 インスタンス上でのサンプルアプリの起動&接続

# 1. ローカル環境で動く Next.js を用いたサンプルアプリの作成

* 事前に npm をインストール

“`bash
npm install -g npm
“`

* ↓の公式チュートリアルの Getting Started の部分を進める。
* https://nextjs.org/learn/basics/getting-started/set

AWS認定デベロッパーアソシエイト合格と、勉強方法と使ったサイトの感想

# はじめに


– 2019年12月にAWS認定デベロッパーアソシエイトに合格しました。(886/1000点)
– 合格までの勉強方法と利用したサイト（有料）について記事にしようと思います。
– 前回受験した[ソリューションアーキテクト合格の記事はこちら](https://qiita.com/icck/items/a1416e818135a424ad89)になります。

# バックグラウンド
– 業務アプリメインのSIer、AWSは仕事でほぼ関わっていません。
– アーキテクト取得のキッカケでAWSにハマり、インフラ知識はほんの少しだけ。
– ブラックベルトの記事は日頃少しずつ読んでいます。

# 勉強方法
以下の順番で勉強していきました。最短ルートではないと思いますが、オススメ出来るものをピックアップしていこうと思います。

## [AWS

GCP・AWS・Heroku の最低価格帯インスタンスの料金比較（2020年1月版）

はじめに
——-

規模の小さい Web アプリケーション（CPU 1 コア・メモリ 1 GB 弱のサーバ 1 台で動作可能）を
動かすための環境として GCP・AWS・Heroku を検討したので、
各サービスごとの最低価格帯の料金をまとめてみました。（料金は 2020年1月3日現在のもの。）
Azure は今まで全く触ったことがないので検討に入れておらず…すみません…

料金比較表
——–
主なサービスを月間料金の昇順でソートしてみました。

| Service | Instance |(v)CPU | RAM(GB) | 時間料金(USD)|月間料金(USD)|月間料金概算|Region|
|:——–|:———|—:|——–:|———–|———–|——-:|—|
| AWS | t3a.nano | 2 | 0.5 | $0.0061 | $4.392 |480円 |東京|
| GCP | f1-micro | 1 | 0.6 | $0.0092 | $4.70

AWSでCycleGANを実行してみる

# AWSを使ってみたい
しばらくGoogle Colabを使っていたけど、ディープラーニング以外のところでつまずくことが多かった。AWSを一応使ってもいいので、使ってみようと思います。
本当はPyCharmでリモート開発？をやりたいけど、とりあえずターミナルから触れるように頑張る

## CycleGANとは
**GAN**は敵対的生成ネットワークのこと。生成モデルと識別モデルを用意して、偽物を作ってそれを判別する。これらを交互に学習を進めることで精度が高くなる。
**CycleGAN**はそれの応用で、Cycleなので循環させるのがポイント。ペアになっていない2種類の学習用データ(ex. 紅葉と緑葉)を使って、`元データ`と`変換後のデータから元データを復元したもの`との損失を小さくしていく。説明が難しいから無理

## CycleGANの使い方は親切に書いてある
論文は[こちら](https://arxiv.org/abs/1703.10593)
GitHubにコードは上がっている。いろんなフレームワーク(？)で用意してくれていて、なんかずっとPytorchを触っているのでそれを

aws DR クラウド構成例

multi-azはdrにならない？

multi-AZはDRにならない？

ディザスタリカバリを考慮したクラウド構成例
https://aws.amazon.com/jp/cdp/cdp-dr/

AWS資格試験問題に対応するためにも下記は全部読んだ方がいいかも
https://aws.amazon.com/jp/cdp/

Locustの分散負荷テスト環境をAWS Fargateを使って簡単に用意してやる

# 概要
この記事では、負荷テストツール**Locust**で分散負荷テスト環境を構築するに当たって私が使っている方法をまとめます。
構築は**AWS Fargate**を使って、設定をできるだけ少なくしました。
AWSの操作には**Terraform**を使って、構築・破棄を繰り返しできるようにしています。

# 背景
## これまでやっていた負荷テスト
負荷テストはどのようにして実行しているでしょうか？
私はこれまで簡単なものはApacheBenchで行い、
ログインを含むシナリオが必要なものはシェルスクリプトでコードを書いて実行していました。

しかし、ApacheBenchは静的なWebサイトなどで使うには良いのですが、Webアプリのテストとなると機能が足りないと感じていました。
シェルスクリプトを使えば何でもできる反面、テストの作成に時間がかかりがちで、メンテナンスもしずらくなっていました。

## Locustを使った負荷テスト

そんなときに、Locustというツールを知りました。
まだ使い始めて一ヶ月ほどですが、満足できそうな予感がしています。
(ツールの特徴については

CloudFrontでmulti originをするときにハマったところ

## 概要

年末で暇だったので、個人サービスの画像配信部分をCloudFront経由で早くしてやろうと思い、見事にハマった出来事についての備忘録です。

ちゃんと調べずに自分でトライアンドエラーをしているので、かなりグダグダした内容になっています。ご了承ください :bow:

## TL;DR

内容がグダグダなので、何にハマったか知りたい人はこれだけ見て退散することをオススメします

– BehaviorのPath PatternがOriginに渡るときにIgnoreされると思っていた
– Path Patternは正規表現なのでIgnoreされずにOriginに届く
– 例:
– Path Pattern(`image/*`)を持つmulti-origin(`image-bucket`)なCloudFrontに対してリクエストを送る
– `https://www.app.com/image/full/sample1.png`がOriginに届く時には、`s3://image-bucket/full/sample1.png`になると

【未経験】AWS ソリューションアーキテクト（SSA） 合格まで_（約１ヶ月）

#はじめに
業務未経験の私がAWS ソリューションアーキテクト（SSA） 合格までに実施した勉強方法を記載します。
受験日は2019年12月7日の情報です。
受講方法の記述などはございません。

##前提
・AWS業務未経験
　（仕事でもAWSやプログラミングを触ることはない）
・時間は50時間以上は必要だと感じました

###きっかけ
AWSについて学習をしている中で、自分がどこまで理解しているのか客観的に理解するため。
また、現在AWSを学習しているので、転職活動をするときにも資格を取得していれば多少は有利になると考えたから。

####どのように
まずは先人の人たちの実施状況を確認しました。参考にさせていただいたのは下記の内容です。
[３週間でAWS認定ソリューションアーキテクト-アソシエイト-とったので、勉強法などまとめてみる](https://qiita.com/fukubaka0825/items/238225f9e4c1962bc00c)
[【資格】AWS ソリューションアーキテクト（SSA） 合格までの勉強方法](https://qiita.com/x5dwimpejx

ネットワークエンジニア視点のAWS VPC内Network構成

Network構成図でモヤモヤする事があります。
例えば、この構成。
https://docs.aws.amazon.com/vpc/latest/userguide/VPC_NAT_Instance.html

PrivateからNAT経由してInternetに出る場合、及びPublic Subnetから
Internetに出る場合、線が一本はどうも変な感じがします。
通信経路考えると、こうなのではないかなと。
赤の部分。
ネットワークエンジニア視点のAWS Transit Gateway

これはどこからどう見ても、MPLS VPN (勝手な想像)

経路の重複は許してないのでrd値は同一かな。
中の設定はこうなってるような。
!
ip vrf Development
rd 1:1
route-target export 100:100
route-target import 400:400
route-target import 500:500
!
ip vrf Testing
rd 1:1
route-target export 200:200
route-target import 400:400
route-target import 500:500
!
ip vrf Shared
rd 1:1

API Gateway + Lambda プロキシ結合の使用有無による違い

# やりたいこと
API GatewayとLambdaでREST APIを作成する際には、API Gateway側でLambdaプロキシ統合の使用有無を選べます。


今まであまり気にしていませんでしたが、開発する中で挙動の違いについて混乱してきたので、出力フォーマットとQueryStringの受け取り方という2点に絞って違いをまとめてみます。

今回は以下の通り2つのAPI Gatewayでプロキシ統合と非プロキシ統合の2つのエンドポイントを作って、それぞれの挙動の違いを調べてみました。

– 非プロキシ統合

– プロキシ統合

## 1. 出力フォーマットの違い

###
簡単に言うとAPI Gatewayに対してLambdaから返されると想定している値が異なります。

– プロキシ統合の場合
– Lambdaから返される値のフォーマットが決まっている(

EC2 Image Builderのコンポーネントをサクッと作る

# はじめに

Image Builder試してみたけど、インストールしたいパッケージのComponentsがない。
このためにドキュメント調べるのか。。メンドイ
ってなった事はないだろうか？私はある。

# AWSのComponentsをベースに作る

AWSで用意してあるComponentsをベースに、ちょっと変えるだけ。
単純にインストールするだけなら難しくない。

## 1. ベースのComponentsをコピペ

Componentsに`python-3-linux`という物があるので、それを使うといい。

“`yaml
name: Python 3
description: Install the latest version of Python 3.
schemaVersion: 1.0
phases:
– name: build
steps:
– name: InstallPython3
action: ExecuteBash
inputs:
commands:
– s

ネットワークエンジニア視点のAWS Direct Connect2

ネットワーク構成に関して

色々な記事を見るに、多分ここのInterfaceはこんな感じ。

とすると気になるのはAWS側の構成で、こんな感じになっているのではないかと。

確実に分かっているのが、Customer GatewayとVirtual Private Gatewayにアタッチした

Automation Anywhere BYOLでAWS上にControl Roomを立ててみる

少し前にAWS(Amazon Web Services)のMarketplace上に、Automation Anywhere BYOLが掲載されていたので、今回、試してみました。

ちなみに、BYOLとは、Bring Your Own Licenseの略で、あるパッケージソフトウェアのライセンスを持っていれば、クラウド側ですぐに使えるような仕組みです。
今回の例の場合は、AWS上でAutomation AnywhereのControl Room(サーバー)や、Clientをユーザー側でインストールしなくても、最初からインストール済みの仮想マシンが作れるようになった。という事です。

もし実際に試す場合には、AWSのEC2という、仮想マシンを作成・運用出来る有料のサービスを利用します。
利用料が立てる仮想マシンのスペックにより変動しますので、ご注意ください。

なお、筆者はAWS初心者ですので、AWSの設定、特にセキュリティ周りは各自充分に調査の上運用してください。

#手順
1. AWSの利用を開始する。→ この辺りはググれば色々出てくると思います。
2. AWS Marketplac

AWSにRailsアプリケーションを実行する環境作りの手順メモ

# 概要

この記事は`rails new`で作成したアプリケーションをAWS上で実行するために必要な最低限の作業手順をまとめたメモになります。

**環境**

* AWS (Amazon Linux 2)
* Ruby 2.5.7
* Rails 6.0.2.1
* Nginx 1.16.1

**参考**

* [Getting Started with Rails] (https://guides.rubyonrails.org/getting_started.html)

# AWS編

VPCにパブリックサブネットを1つ作成し、そこにrailsアプリケーションを実行するEC2インスタンスを1つ作成します。

## VPCの作成

**ステップ1: VPC 設定の選択**

**ステップ2: 1個のパブリックサブネットを持つVPC**
VP

Ruby: AWS S3 のある場所のファイルを別のバケットにまとめてコピーする方法

Ruby を使って AWS S3 のある場所のファイルを別のバケットにまとめてコピーする方法を紹介します。

## 環境

Rails の中のタスクのひとつとして作成しましたが Rails なくても実装可能です。

* Rails 6.0.2.1
* Ruby 2.6.5
* Gem aws-sdk-s3 1.60.1

## やりたかったこと

S3 の `bucket/folder` にあるファイルたちを全て `another_bucket/folder` 内 に構造を保った状態でコピーしたかった。

## プログラム

コピーに使用したプログラムを紹介します。

Rails の中のタスクのひとつとして作成しました。 `bundle add aws-sdk-s3` を実行して AWS の SDK を追加しておきます。

“`ruby
# S3 SDK reference: https://docs.aws.amazon.com/sdk-for-ruby/v3/api/Aws/S3/Client.html
require ‘uri’

namespace :s3 do
name