AWS関連のことを調べてみた2020年06月09日

Youtubeの動画をバッチダウンロードし、S3にアップロードする方法

## はじめに
Youtubeの動画を、アーカイブ目的でまとめてバッチダウンロード。
ついでにS3のバケットにアップロードをしたかった。
どうせ、後で氷漬け（glacier漬け）する目的なので、これで十分だろう。

## ポイント
ローカルのストレージを使用していないこと。
仕組みとして、youtube-dlでダウンロードされたものを、パイプでaws cliに渡し、そのままS3バケットにアップロードしている。

## 前提条件
– Ubuntu 18.04LTS
– youtube-dlのインストールとアップデート
– aws s3でバケットを作成済み
– awscliのインストールとセットアップ

今回、youtube-dlは、以下のバージョンを使用した
“`
% youtube-dl –version
2020.06.06
“`

## 実際のコード
“`
#!/bin/bash
LIST_URL=”./dl.url.list”
S3_BUCKET=”mylist-douga”

while read URL
do
# fetch
FORMAT=`youtube

AWSラムダを全く理解していない人間が練習

###あくまで備忘録です
#やりたいことだけ明確に
###まず、目標
※この部分を書いている時点で一切の作業をしていません
AWSのラムダを使うとしてお金がかかるので、ローカル（Windows環境）にダウンロードできるものだけでラムダを作りたい。
htmlで書いた(ここの言語は未定)Webサイトにアクセスし、Pythonの書かれたラムダに投げて帰ってきたデータでhtmlを更新する、なんて形を取れればいいと思っている。
~~静的なWebサイトを作るのであればS3でもいいとか言ってはいけない~~

#何をダウンロードしよう
ググったところ[[参考：A]](https://dev.classmethod.jp/articles/invoke-aws-lambda-python-locally/)のサイトを見つけたので内容を確認。**python-lambda-local**というものを使えばいいらしいので早速インストール

cmdからpipでダウンロード~~pipがナニか変わらなかった無知な自分は[こちら](https://techacademy.jp/magazine/21161)~~

　AzureからAWS

# Azure から aws にMongoDBのデータを移行

Azureのcosmosを使っていたのですが諸事情あってAWSに以降することになった時、調べたことをメモ

– 背景
– まず、どれ位のデータ量か見積もります それによって移行方法が変わります。今回はとても少なかった(40M以下)だったので下記の方法をとりました。

– 前提条件
– 移行するCosmosデータが 40M以内の大きさであること
– ローカルにUnix互換環境を用意可能なこと

### 準備
1. ローカルのUnix環境に予めdockerをインストールしておきます。
2. Azureポータルへアクセスして
Azure CosmosDB -> cios-cosmos-mongodb-idm-graph -> Connection Stringページを開きます。
3. 表示されたHOST, PORT, USERNAME, PRIMARY PASSWORDを下のCosmosデータ取得スクリプトにセットします。

#### Cosmosデータ取得script
“`bash
#!/b

CircleCI で Severless Framework のデプロイを IAM ロールを使ってクロスアカウントでやる

CircleCI で ServerlessFramework のデプロイを行うときに環境変数で設定した AWS クレデンシャルから別のアカウントにデプロイしたいパターンがあったのでメモ。

別のアカウントのクレデンシャルを [CircleCI のコンテキスト](https://circleci.com/docs/ja/2.0/contexts/)使って環境変数に登録してしまえばいいじゃないかとも考えましたが、何個もクレデンシャル登録したくないなーということでスイッチロールでできないかやってみました。

## 先に結論
### 試した環境
aws-cli 自体のインストール、 serverless framework は公式 orbs を使っています。

– CircleCI 2.1
– Orbs
– circleci/serverless-framework@1.0.1
– circleci/aws-cli@1.0.0

### config.yml

aws cli のクレデンシャルに直接スイッチ先の情報を書き込んでいます

“`yaml:config.yml一部抜

AWSでこけた話

#はじめに
こんにちは。初投稿に見えて投稿消してるだけなので実際は初投稿じゃない人です。学校は初登校してきました。
今回は僕がはじめてAWSを使ったときに詰まったところについてまとめたいと思います！！！

#僕のレベル
AWSって何？？？？
まず最初に言っておきますが、私はこのレベルの人間です。AWSって言葉は知ってるけど中身は知らない、また、インフラの知識も皆無の状態から始めました。
いろいろググった結果、今回はAWSのEC2というインスタンスを使用して実際にアプリをデプロイしてみよう！という結論に至りました。
また、本当はSSLとデータベースの設定もしたかったのですが、それについては後日投稿します。

#環境
OS: Amazon Linux 2 AMI
Python: 3.7.3
Django: 2.2.0
Nginx: 1.10.3
Gunicorn: 19.7.1
Supervisor: 3.3.3

#インスタンスを作る
AWSのアカウントを取得した後に、EC2というインスタンスを作成します。

![image.png](https://qiita-image-sto

エンジニア未経験から取り組んだAWS認定SAA合格までの振り返り

2020,4月入社の我々はコロナ渦の中、AWS資格であるSAAの取得に向けスケジュールを組み取り組みました。

合格までの道筋を振り返り記録しておこうと思います。

こちらの記事に今回、SAA取得計画の詳細は書いております。

[【コロナウイルスの影響でリモート勤務が長引く為、AWS資格(SAA)取得計画】](https://qiita.com/kawaguchi_yuki/items/ebf933d7814d2c407a67)

##取得した資格
SAA(C01)1ヶ月：score一回目700点(不合格)scare二回目点(合格)

*学習2週間で1度受験,その2週間後再び受験

##私の経歴
2020.4~ 未経験エンジニア
2020.4~5/1 Linux研修
2020.5~ SAA取得の為、本格的学習スタート

##取り組んだ内容

期間:約一ヶ月

・ハンズオン
・書籍
・問題集

以上、3点で学習しました。

他の人の学習記録を見てみるとBlackBeltで学習されている方もいらっしゃいますが私は今回は使用していません。

なお、事前にプログラミングスクールで

AWS EC2 AmazonLinux2 MySQL rootユーザの初期パスワードの確認方法

# 目的

– AmazonLinux2インスタンスを作成し起動後、MySQLをインストール直後の初期rootユーザのパスワードの確認方法をまとめる

# 実施環境

– ハードウェア環境

| 項目 | 情報 |
| — | — |
| OS | macOS Catalina(10.15.5) |
| ハードウェア | MacBook Pro (13-inch, 2020, Four Thunderbolt 3 ports) |
| プロセッサ | 2 GHz クアッドコアIntel Core i5 |
| メモリ | 32 GB 3733 MHz LPDDR4 |
| グラフィックス | Intel Iris Plus Graphics 1536 MB |

– ソフトウェア環境

| 項目 | 情報 | 備考 |
| — | — | — |
| AWS EC2インスタンス | AmazonLinux2 | こちらの方法を用いてイメージからインスタンスを作成→[AWS EC2 をMacで使ってみよう!](https://qiita.com/miriwo/item

[AWS] EFSの基本

#EFSとは
AWSおよびオンプレミスリソースで使用するための、フルマネージド型(=AWSが管理してくれる)のNFS(=Network File System)。

#NFSってなに
ネットワークファイルシステムの名前の通り、ネットワークを介して**複数のマシンがファイルやストレージ領域をNFSサーバを介して共有**できるようにする仕組み。このNFSサーバに当たるのがEFSと思うと個人的に分かりやすい。

#2つのストレージクラスとライフサイクル管理
利用される頻度に応じて2つのストレージクラスがある。

**スタンダードアクセス**
頻繁にアクセスされるファイルはここに格納。名前通り。

**低頻度アクセス(IA)**
こちらも名前通り。アクセス頻度が低くて長期間保存されるファイルを安く格納することができる。

**ライフサイクル管理**
初めはよく使ってたけど最近使ってないからこのファイルは低頻度アクセスに移動させようと毎回毎回考えるのはめんどくさい。
そこでライフサイクル管理の登場である。この機能を使うと、設定で「X日このファイルにアクセスしていなかったら低頻度アクセスストレ

【AWS】よく使われる横文字用語をまとめてみた

#用語の解説
AWSは横文字の用語をよく使われる。今回はそうしたものをまとめてみる。

#リージョン
「AWSにはリージョンという概念が存在します。これは、データセンターが集積されている世界中の物理的ロケーションのことです。（中略）各AWSリージョンは、1 つの地理的エリアにある、複数の、それぞれが隔離され物理的にも分離されたAZによって構成されています。」
AZを地域ごとにグループ分けしたもののこと。AWS は世界中にサーバーを持っており、リージョンという大きな単位でまとまっている。

#アベイラビリティゾーン(AZ)
「アベイラビリティゾーン(AZ)とは、1つのAWSリージョン内でそれぞれ切り離され、冗長的な電力源、ネットワーク、そして接続機能を備えている 1 つ以上のデータセンターのことです。」
つまり互いに近くに立地しているデータセンターの集まりのこと。リージョンよりも小さな区分け。

イメージ図
![1.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/449478/6cf5f678-fecf-7

AWSのCloudFront/Snowball/StorageGateway/Macie

# CloudFront

CDNでcontentsをキャッシュする箇所。
– ObjectはTTL(TimeToLive)の間キャッシュされる。
– キャッシュをクリアすることもできるが、料金がかかる。(クリアには時間がかかるので、Objectを消すより前にキャッシュクリアする)
– CloudFrontの前にFireWallを立てることもできる。

– Edge Location
– READonlyではなく、WRITEもできる。
– Origin
– オリジン。S3バケット、EC2インスタンス、ELB、Route53など
– Distribution
– Web Distribution(Webサイトに使われる)
– RTMP(MediaStremingに使われる、20年12月31日でサポート終了)

– SignedURLやSidgnedCookieを使えば、(ログインユーザにのみ表示などの)アクセス制限をかけることができる、らしい。

![image.png](https://qiita-image-store.s3.

デプロイ後のテーブルの変更とデータベースのリセットについて

# はじめに
通っているプログラミングスクールで初めてのチーム開発を行いました。データベース設計については十分に検討したつもりでしたが、開発する中でカラム変更や本番環境のデータベースをリセットしたい！！と思うことがありました。そこで、自分の備忘録として記録を残そうと思います。
なお、デプロイ後のデータベースのリセットは本来あってはならないことであると思います。参考にされる方は、プログラミング初心者が書いた記事であることを忘れないで下さい。

# 開発環境
AWS EC2
Capistranoによる自動デプロイ
Capistrano Version: 3.14.0 (Rake Version: 13.0.1)
Rails 5.2.4.3
ruby 2.5.1p57 (2018-03-29 revision 63029) [x86_64-darwin19]
mysql Ver 14.14 Distrib 5.6.47, for osx10.15 (x86_64) using EditLine wrapper

# 参考にさせていただいた記事
[【Rails】本番環境デプロイでよく使うコ

Route53で他所で取得したドメインを用いる

# はじめに

もはや何番煎じかわからない内容ですが、今日仕事の関係でRoute53でのレコードとドメイン関係を扱って色々と理解したことがあったのでメモ代わりに書きます。

# 他所のサービスでドメインを取得する

あまりドメイン関係はよくわからないのですが、[スタードメイン](https://secure.netowl.jp/star-domain/)というサービスを使うと33円で`.xyz`の激安ドメインを買えてしまったのでこれをAWSの[Route53](https://aws.amazon.com/jp/route53/)で使えるようにしようと思います。その際に[こちらの記事](https://mel.onl/onamae-domain-aws-route-53/)が参考になりました。

# Route53でホストゾーンを作成する

![ホストゾーンの作成.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/209689/cd4776a5-13ec-a2e2-f1e6-491c8bcf41e8.jpe

AWS 認定ソリューションアーキテクト – アソシエイト (SAA-C02) 実務経験なしで合格しました

簡単ですが合格記を残しました。
# 業務でのAWS経験：ほぼなし
メインサービスの用語や概要は、業務内で担当されてた方のお話とか聞く流れで覚えていましたが、自身で触った経験は皆無でした。ここから検定の学習を開始しました。

# 勉強法
### Udemy
教材は以下の２つです。
・ これだけでOK！ AWS 認定ソリューションアーキテクト – アソシエイト試験突破講座（SAA-C02試験対応版）
https://www.udemy.com/course/aws-associate/
・【SAA-C02版】AWS 認定ソリューションアーキテクト アソシエイト模擬試験問題集（6回分390問）
https://www.udemy.com/course/aws-knan/

実施した勉強のうち、9割方はこれらの履修です。
個人的には公式のハンズオンより格安で効率よく操作を学習できると思います。
※教材代に加えて、履修の中でAWSのサービス利用料が多少発生します。

業務経歴のない私にとってはハンズオンの教材と言うのがありがたく、内容も未経験者が問題なく取り組める程に丁寧なものでした。
模擬試験

AWS AppSync Nuxtjs

# 概要
AppSyncを使ってみたかったので、簡単なツイートシステムを作って見ました。
今回はAppSyncの仕組みやLambdaとの連携を理解したかったので一から構築しています。

## 構成
フロントにNuxtjsを置いてappsyncを経由し、LambdaでDynamoDBにデータを保存ようにしてみました。
AppSyncのウィザードを使うと全部自動で作ってくれます。

## AppSyncの設定
1. AWSのAppSyncのページで「APIを作成」をクリック
LinuxにKofax RPA 11.0をインストールして、Windows端末のDesign Studioからアクセスする方法 on AWS

#この記事で解説すること

Kofax RPA 11.0のトライアル環境をAWS上に構築したLinuxサーバにマネージメントコンソールをインストールし、Windows端末にDesign Studioをインストールして起動する方法を解説します。

#記事の更新日
本記事は2020/6/8の情報を元に更新されています。

#事前準備

##トライアルライセンスの入手

[Kofax](https://www.kofax.jp/)のHPでフリートライアルの申し込みをします。名前や会社名、メールアドレスを入力するとメールが
送られてきます。
「licenses.zip」という名前の添付ファイルがあるメールが来ているはずですのでご確認ください。

##Linuxインストールパッケージの入手
メールに記載のあるダウンロードURLですとWindows向けのインス

CDKを使ってBatch環境の構築とECRへプッシュを行う

# 概要
Dockerイメージの作成、ECRリポジトリの作成・プッシュ、Batch環境(コンピューティング環境、ジョブキュー、ジョブ定義)の構築をCDKで行います。
コンピューティング環境の作成も行いますが、コンピューティング環境はCDKを使っても後からパラメータを変更することができず、パラメータを変えるには一度デストロイする必要があります。
そのためジョブキューやジョブ定義とは別で作成しておくことをお勧めします。

# 前提
CDKをデプロイするためのロールや環境は準備してあることを前提とした記事です。

# 用意しておくもの
– Dockerfile
– 使用したいDockerfileをプロジェクトディレクトリから見て `./docker/Dockerfile` に配置してください

### 既存のコンピューティング環境を使用したい場合
– コンピューティング環境
– コンピューティング環境ARN

### コンピューティング環境の作成から行いたい場合
– VPC
– VPC ID
– サブネット
– サブネットID
– アベイラビリティゾ

AWSのセキュリティ系サービスをごく簡単にまとめる

AWSは常に成長を続けています。
サービス数もすごい勢いで増えています。
すべてのサービスをそらで列挙できる人は、もはやほとんどいないかも知れません。

今回は、セキュリティ系のものに絞って、ごく簡単に紹介します。
（すべてのセキュリティ系サービスではありません。）

# 確認テスト
各サービスがどの部分に適用されるか、把握できていますでしょうか？
簡単なパズルゲームを作ってみたので、まずは試してみてください。

ごくシンプルなAWSアーキテクチャ図に対し、下の部分にあるセキュリティサービスのアイコンを、もっとも関連性が高い箇所（赤枠）にドラッグアンドドロップするパズルです。

https://aws-puzzle.pict3.org/aws-security-puzzle/index.html

# 各サービスの３行紹介
## AWS WAF
ALB, CloudFront, API Gatewayに簡単に適用できるサーバーレスなWAFです。
マネージドルールという提供された汎用ルール群を使うパターンと、自前でルール群を運用するパターン、そのハイブリッド構成があります。
2019年

AWS EC2でCron使うならタイムゾーンを意識する [for Ubuntu 18.04]

Cronを使ってLet’s Encryptの自動更新とか設定したはいいものの，自動的にスクリプトが走っていないと感じた時とかに見直したい設定がある．それが**タイムゾーン**．
AWSでは作成したインスタンスではUTC（協定世界時．日本標準時より9時間前の時刻となる）になっているので，これをJST（日本標準時）に修正してあげる必要がある．ただし，OSの設定を変えるだけでは不十分なので，いくつか追加の作業が必要．

※ Cron自体の設定方法の記事はこの世界にありふれているため，この記事ではCron自体の設定方法は取り扱わない．

# タイムゾーンの確認

“`bash
$ date #現在時刻を確認する．
$ strings /etc/localtime #設定されているタイムゾーンを確認．
“`

`strings /etc/localtime`を実行した時に最後の行にUTCとかJSTとか書かれている．これが現在設定されているタイムゾーンとなる．ここが既にJSTである場合はCronの再起動や，Cron自体のタイムゾーンを確認する．

# タイムゾーンを設定する
“`bash

Capistranoを用いた自動デプロイ

## Capistranoとは
自動でデプロイが行えるツールです。
Capistranoを使うことで、以下の2つの記事で行ったデプロイ作業が自動化できます。
AWSへのRailsアプリのデプロイ その1
AWSへのRailsアプリのデプロイ その2

## gemのインストール
まずは必要なgemのインストールから行います。

“`
group :development, :test do
gem ‘capistrano’
gem ‘capistrano-rbenv’
gem ‘capistrano-bundler’
gem ‘capistrano-rails’
gem ‘capistrano3-unicorn’
end
“`
“`
bundle install
“`
gemをインストールしたら、以下のコ

AWS OrganizationsとAWS Control Towerを使って、管理可能なアカウント運用をする

# AWS OrganizationsとAWS Control Towerを使って、管理可能なアカウント運用をする

個人の趣味の開発だったりしても、AWSアカウントをマイクロサービス的な観点でいくつも作って、別々のアカウントで作業したいなあと感じたときに、でも統制が取れてなかったりセキュリティに不安があるのは嫌だなぁと感じたので、そのあたりのために必要なことをまとめました。この延長線で、業務の方も便利になっていくと良いと思い、作業録と共有を兼ねて記事にアウトプットしました。

ここは〜の方が良いなどあれば、いつでもウェルカムです！

AWS OrganizationsとAWS Control Towerにより、保護されたアカウント運用が可能となる状態を目指す。

下記がやること。

– ルートアカウントの設定
– ルートアカウントは組織管理に徹し、アプリケーションには関与しないクリーンな状態を保つ
– AWS Organizationsの設定
– アプリケーションをマイクロサービスで作成できるようにアカウントを組織として管理する
– AWS Control Tower