- 1. kubeflow 1.0 on AWS #1 構築
- 2. Docker で AWS Lambda の Python 用 Layer を作成する
- 3. AWS Lambda で Javaを使う ー実装編 – EC2を止める/立ち上げる
- 4. EC2の処理が突然遅くなったときはCPUクレジットを確認しよう
- 5. AWSで料金アラートの設定
- 6. Amazon SESコンソールからメールをテスト送信する手順
- 7. 複数インスタンスからOS情報を一発取得したい
- 8. 【AWS】Amazon WorkSpacesの作成
- 9. 【AWS】Simple AD ディレクトリの作成
- 10. aws-cliでCognitoのトークン（ID、PW、REFRESH）を発行する
- 11. AWS 資格 データ分析の取得を目指す
- 12. S3バケットのオブジェクトを1000個以上取得する
- 13. SysOps試験対策
- 14. AWSスナップショット管理の決定版！！Veritas CloudPointを、ガッツリご紹介します！！
- 15. AWS Amplify はじめてみる編
- 16. Oracle Cloud Infrastructure Data Scienceを使って、OCI Object StorageとAWS S3のファイルデータにアクセスしてみる
- 17. Aurora Serverless が起きるまで待つ
- 18. チャットアプリにAWSのS3（ストレージサービス）を導入
- 19. 【AWS】IAMユーザーのMFAの設定をマストにする
- 20. API Gateway のカスタムドメイン設定方法と困った話 ( CONNECTION_REFUSED )
kubeflow 1.0 on AWS #1 構築
# はじめに
これは、kubeflow 1.0 をAWSで構築する記事です。
動作確認が主な目的ですので、本番環境での利用は全く想定していません。# 環境について
– kubernetes
– Amazon EKS v1.14(検証開始時点)
– kubeflow
– kubeflow 1.0.1(検証開始時点での最新)
– クライアント環境
– [DockerHub](https://hub.docker.com/r/asahi0301/eks-toolkit)のdockerイメージ上で実行(私が作成したもの)
– kubectl, eksctl, awscli 等々検証に必要なものはだいたいインストール済み# 構築
[GitHub](https://github.com/asahi0301/kubeflow-1.0-on-aws)に書いてあります# 構築後にやったこと
## 環境の確認
“`sh
kubectl get all -A
NAMESPACE NAME
Docker で AWS Lambda の Python 用 Layer を作成する
AWS Lambda の Python ランタイムでよく使うモジュールを Lambda Layers に登録しようと思ったが、EC2 インスタンスを立ち上げてパッケージを作るのが面倒なので Docker でできるようにした。
## Lambda Layers とは何か
– ファイルを zip で固めたものをアップロードして「レイヤー」として登録することができる
– Lambda Function にレイヤーを追加すると、ランタイムの `/opt` 以下に固めたファイルが展開されて実行時に利用できるになる
– 言語ごとに指定された名前のディレクトリの中にモジュールを入れておくと、Lambda Function から読み込めるようにパスを通してくれる
– 例えば Python ランタイムの場合、レイヤー zip 内の `python` という名前のディレクトリに Python モジュールを入れておくと Lambda Function 側でそのモジュールを `import` で読み込むことができる詳しくは： [AWS Lambda レイヤー – AWS Lambda](http
AWS Lambda で Javaを使う ー実装編 – EC2を止める/立ち上げる
##やりたいこと
Lambdaで実行するJavaでEC2を起動・停止する
(↓をJavaで書いてみて、ちょっとだけカスタマイズする。
https://aws.amazon.com/jp/premiumsupport/knowledge-center/start-stop-lambda-cloudwatch/)##目次
・[Eclipse準備編](https://qiita.com/t_ookubo/items/a71a9bd05282bf20e023)
・登録実行編（次回以降）
・実装編 – EC2を止める/立ち上げる（今回）
・実装編 – CloudWatchの引数を確認する## とりあえずクラス作成
前回Eclipseでサンプルクラスを作成できるようにしたので、
それを使って、入力タイプ「Custom」のLambdaプロジェクトを作る。
AWSで料金アラートの設定
最近UdemyでAWSを学び始めた。AWSは無料期間が一年間あるが、有料サービスを利用してしまったり、無料期間の終了に気づかず使用してると料金が知らない間に発生してしまう。
そうならないためにも、CloudWatchという機能を使ってアラートを設定していく。#料金アラートの設定
AWSにログインすると以下の画面になるので、ユーザー名の書いてある赤枠部分を選択。
マイ請求ダッシュボードを選択。
Billingの設定を選択。
# 取得したい情報
command=’
echo -e “\n———————–\n hostname \n———————–“;
hostname;
echo -e “\n———————–\n system-release \n———————–“;
cat /etc/system-release;
echo -e “\n———————–\n redhat-release \n———————–“;
cat /etc/redhat-release;
echo -e “\n———————– \n locale \n——————
【AWS】Amazon WorkSpacesの作成
# はじめに
初回起動時は*高速セットアップ*で作成することも可能です。
以下で説明する方法は、通常のWorkSpaceの起動について説明します。
# 起動方法
上記の図の`WorkSpacesの起動`ボタンを押します。## ディレクトリの選択
WorkSpaces を起動するディレクトリを選択します。ディレクトリには、ユーザーと WorkSpaces の両方が含まれます。]ディレクトリには、既に作成してあるディレクトリが表示されるので、選択します。
設定項目の下記2点は`有効`にしておきます。
– セルフサービスアクセス許可の有効化
– Amazon WorkDocs の有効化`次のステップ`をクリックします。
## ユーザーの特定
新規ユーザーを作成する場合は必要事項を記載し、`ユーザーの作成`をクリックします。
## ディレクトリタイプの選択
`Simple AD`を選択し、次へ進みます。
## ディレクトリ情報の入力
– ディレクトリのサイズ
aws-cliでCognitoのトークン（ID、PW、REFRESH）を発行する
## 実行
※ユーザプールの設定で –client-id に指定するアプリクライアントの `アプリクライアント > 詳細 > “認証用の管理 API のユーザー名パスワード認証を有効にする (ALLOW_ADMIN_USER_PASSWORD_AUTH)”` にチェックが必要
“`bash
aws cognito-idp admin-initiate-auth \
–auth-flow ADMIN_USER_PASSWORD_AUTH \
–auth-parameters USERNAME=username,PASSWORD=password \
–user-pool-id ap-northeast-1_xxxxxxxxx \
–client-id xxxxxxxxxxxxxxxxxxxxxxxxxx
“`## 参考
* https://docs.aws.amazon.com/cognito-user-identity-pools/latest/APIReference/API_AdminInitiateAuth.html
* https://docs.aws.
AWS 資格 データ分析の取得を目指す
まずはビッグデータを勉強して、試験に望む。
ブログ
ブレインパッドの方のブログudemy
過去問集があった。（英語）ジェル？16個消費で実施。65問Whizlabs
フリーの15問と、有料のものがあった。a cloud guru
テストシミュレーターがビッグデータはない。。公式サンプル問題集
公式模試
S3バケットのオブジェクトを1000個以上取得する
[公式リファレンス](https://docs.aws.amazon.com/sdk-for-ruby/v3/api/Aws/S3/Client.html#list_objects_v2-instance_method)に記載があるように、[list_objects_v2](https://docs.aws.amazon.com/sdk-for-ruby/v3/api/Aws/S3/Client.html#list_objects_v2-instance_method)は1000個以上のS3オブジェクトを取得する際には面倒なnext_tokenの処理が必要になります。
そこで、1000個以上のS3オブジェクトを扱う際には、[Aws::S3::Bucket#objects](https://docs.aws.amazon.com/sdk-for-ruby/v3/api/Aws/S3/Bucket.html#objects-instance_method)を使うと、このようにシンプルに書けます。
“`ruby:list-objects.rb
require ‘aws-sdk’
bu
SysOps試験対策
#ECインスタンス関連
– InstanceLimitExceeded ⇒ あなたは地域で起動できるというインスタンスの数の上限に達してる（リージョン単位）
– InsufficientInstanceCapacity ⇒ AWSにはリクエストを処理するのに十分なオンデマンド容量がない
– EC2インスタンスがpendingからterminated
– EBSボリューム制限に達してる
– EBSスナップショットが破損
– ルートEBSボリュームは暗号化されており、復号化のためにKMSキーにアクセスする権限がない
– インスタンスの起動に使用したインスタンスストアにバックアップされたAMIに必要な部分（image.part.xxファイル）がない
– CacheNodeTypeパラメータ ⇒ EC2インスタンスタイプ指定
– CreateCacheCluster ⇒ 新しいクラスタ作成#CloudWatch
– DiskQueueDepthメトリック ⇒ 使用可能なストレージスペースではなく、ディスクへのアクセスを待機している未処理のIO（読み取り/書き込み
AWSスナップショット管理の決定版！！Veritas CloudPointを、ガッツリご紹介します！！
#はじめに
今回は、Vertias CloudPointの紹介です。紹介資料のフル版はSlideShareに公開していますので参照ください。
「Vertias CloudPoint（AWS スナップショット管理）マーケットプレイスから導入してみた」もご覧ください。
ダイジェスト版の動画（説明つき）と資料についても、別途公開予定です。本記事では、下記の内容を抜粋して紹介します。
1. クラウド上で、バックアップって必要なの？
2. クラウドのスナップショットって、バックアップ用途に使えるの？
3. Veritas CloudPointって何？
4. CloudPointは、AWS Backupと何が違うの？※スライド画像の下に、説明を記載しています。
※画面右側の目次もご使用ください。#クラウド
AWS Amplify はじめてみる編
`AWS Apmlify`は、モバイルアプリケーションとウェブアプリケーションを構築するためのAWSがOSSで公開する開発プラットフォームです。
簡単に言えば、AWSでもFirebaseみたいにバックエンドはお任せでフロントだけ開発できるようにしてくれるフレームワークみたいなやつです。
あくまでもプラットフォームなので、`AWS Amplify == Firebase`ではないです。↓AWSのページ
[https://aws.amazon.com/jp/amplify/](https://aws.amazon.com/jp/amplify/)↓公式ドキュメント
[https://aws-amplify.github.io/docs/](https://aws-amplify.github.io/docs/)今回は、Apmlifyの概要とプロジェクトの作成からデプロイまで軽く触ってみます。
## AWS Apmlifyとは
AWSのサービスを用いた、Web・モバイルアプリを最速でリリースするための開発プラットフォームです。
React, Vue, AngularなどでのS
Oracle Cloud Infrastructure Data Scienceを使って、OCI Object StorageとAWS S3のファイルデータにアクセスしてみる
#本記事の狙い
2020/2に、Oracle Cloud Infrastructure Data Science(OCI-Data Science)がリリースされました。
前回、OCI-Data ScienceからOracle Autonomous Database(ADW)上のデータにクエリしてみたので（[Qiita記事：Oracle Cloud Infrastructure Data Scienceを使ってOracle Autonomous Database(ADW)のデータにアクセスしてみる](https://qiita.com/maato/items/d946e83facad12faf184)）、本記事では、実際にOCI-Data Scienceを使って、Oracle Cloud Infrastructure Object Storage（OCI-Object Storage）と、AWS S3上のファイルからデータを取得する手順を、実際に実施してみたいと思います。#参考文献
###実施に参考になるリンク
– [Oracle Cloud Infrastructure Data
Aurora Serverless が起きるまで待つ
例えば AWS Lambda + Amazon CloudWatch Events で定期的にどこかからデータをひっこ抜いてきて適当に Amazon RDS にでも突っ込んでおくかという場合に、普通の Provisioned インスタンスだと少なくとも数千円/月はかかってしまうが Aurora Serverless にすれば使っていないときは勝手に寝てくれるので格安で済むのではないか。[^pricing] [^serverless]
[^pricing]: [Amazon Aurora Serverlessの利用費を試算してみた | Developers.IO](https://dev.classmethod.jp/articles/calculate-amazon-aurora-serverless-costs/)
[^serverless]: [Aurora Serverlessの導入時に気をつけるべきこと | Developers.IO](https://dev.classmethod.jp/articles/lessons-learned-from-up-and-runnin
チャットアプリにAWSのS3（ストレージサービス）を導入
# チャットアプリにストレージサービスを導入します。
**進める上での注意点**
手順を間違えると悪用され、高額請求される可能性があります。
S3を使用する上でどうなると被害が出るのかというと
悪意を持ったユーザーにAWSのIDとパスワードが漏れてしまうことで被害が発生！AWSは従量制のサービスのため、他人がなりすましでログインして膨大な処理を行うと、それに対する支払いが発生してしまう(^◇^;)
#### 今回は下記の3つの手段を取ります。
##二段階認証
##IAMユーザーの利用
##git-secrets
【AWS】IAMユーザーのMFAの設定をマストにする
# 概要
* AWS IAMのドキュメントのチュートリアルで[MFAのマスト化](https://docs.aws.amazon.com/ja_jp/IAM/latest/UserGuide/tutorial_users-self-manage-mfa-and-creds.html)は（ベストプラクティス的にも）最低限行なっておいたほうが良いと感じたので、その手法をまとめました
* 対象読者はIAM管理、IAMのベストプラクティスにのっとったセキュリティ管理に興味のある方です# 0. 事前準備
[IAMのダッシュボード](https://console.aws.amazon.com/iam/)で、AWSマネジメントコンソールへのアクセスのみ許可されたテストユーザー(test_user)を作成し、ポリシーやアクセス許可が一切行われていないテストグループ（TestGroup)を作成してください# 1. MFAサインインを強制するポリシーの作成
1. 管理者権限のあるIAMでAWSマネジメントコンソールにサインインしてください。（ルートユーザでのサインインはベストプラクティス上非推奨
API Gateway のカスタムドメイン設定方法と困った話 ( CONNECTION_REFUSED )
#API Gateway のカスタムドメイン設定で困った話
AWS(Amazon Web Service)の[API Gateway](https://aws.amazon.com/jp/api-gateway/)で、カスタムドメインを設定した時に色々トラブったのでメモを残します。
原因はかなりクダらないのですが、私のような初心者には割とありがちなのかも…？##カスタムドメイン設定手順
メモがてら。route53に該当する独自ドメインが登録済みであることを前提とします。
独自ドメインを**hoge.com**、API用のサブドメインを**api.hoge.com**として説明します。
また、APIは東京リージョンで稼働するものとします。
それぞれ該当箇所を変更しながら作業してください。####Certificate Managerで証明書を作る
セキュリティ、ID、およびコンプライアンスの項にあります。1. 右上のリージョンを東京に変更
2. 証明書のリクエストをクリック
3. パブリック証明書のリクエストを選択
4. ドメイン名の追加 ドメイン名を入力する(api.h
