- 1. AWS CLIのコンフィグ設定
- 2. AWSのストレージサービスの話
- 3. CloudFront S3 環境をterraformで構築する（basic認証も）
- 4. Terraform で Fargate の環境とデプロイのパイプラインを構築する
- 5. Can’t connect to local MySQL server through socket ‘/var/lib/mysql/mysql.sock’ (111)エラーの解決方法
- 6. AWS CDKでRailsアプリをECS（on Fargate）にデプロイしてみる
- 7. 【Java,AWS】自分のPCで動かしていたJavaのプログラムをAWSで動かしてモダナイゼーション（リプレース）を体験する。
- 8. GCPとAWSのVPC・サブネットの違い
- 9. 新サービス AWS App Runner を使ってみた
- 10. AWS コスト管理関連サービス概要
- 11. 初めてのAWSでNoCredentialsError: Unable to locate credentialsが出たのでDockerを設定する
- 12. AWS EBS,EFS,S3,Glacier,Storage Gateway
- 13. 【AWS】EC2インスタンスのユーザーデータ
- 14. 【AWS 最初に知っておきたい単語 VPC編】
- 15. S3の大量オブジェクトの削除方法
- 16. 【全くの初心者がAWSを学ぶ前に知っておきたいAWS学習手順】
- 17. AWS SageMakerでYOLOv3の推論エンドポイントを立てて物体認識をやってみた
- 18. AWSのGPUインスタンス構築 値段を抑えて最短で構築する
- 19. Cloud9でデバッグしてみよう
- 20. CodeCommitからCloud9(EC2)にClone
AWS CLIのコンフィグ設定
# AWS CLIのコンフィグ設定
スイッチロールの権限をAWS CLIで使う方法
以下記事の補足記事https://qiita.com/morita-toyscreation/items/eeba120471cfad628c49
### AWS CLIのコンフィグ設定
スイッチロールに対応するには~/.aws/configにprofileを設定
“`bash
$ vi ~/.aws/credentials
[default]
aws_access_key_id = xxx
aws_secret_access_key = xxx$ vi ~/.aws/config
[default]
region = ap-northeast-1
output = json[profile toyscreation-sandbox]
role_arn = arn:aws:iam::689371460795:role/toyscreation-sandbox
source_profile = default
“`### 確認
profileを指定することで、スイッチ先のロー
AWSのストレージサービスの話
AWSのストレージサービスについて勉強した。
## EBSについて
EBS（Amazon Elastic Block Store）とは、AWSのストレージサービスの1種。
EC2インスタンスにアタッチして使用する。
EBSの特徴としては以下が挙げられる。### ボリュームタイプや容量が変更可能
EBSには、汎用SSDやプロビジョンドIOPS SSDといったボリュームタイプがある。
コストを抑えたい場合は、スループット最適化HDD、ColdHDDを用いる。
これらのボリュームタイプは使い始めたあとも需要が変われば任意に変更できる。
また、ストレージ容量も任意に変更できるので、無駄なコストをかけなくて良い。### アベイラビリティゾーン内で自動的にレプリケート
EBSは同じアベイラビリティゾーン内で複数のサーバーにわたってレプリケートされる。
よって、１つのサーバーが障害を起こしても問題はない。### 高耐久性のスナップショット
上の場合、アベイラビリティゾーン全体で障害が起きた場合、使えなくなる。
しかし、S3の機能を使えば、スナップショットを複数のアベイラビリティゾーンに
CloudFront S3 環境をterraformで構築する（basic認証も）
# はじめに
awsサービスを使用した定番構成であるCF-S3環境をterraformで構築してみたまとめです。
ついでにlambda@Egdeでbasic認証の設定もしました。今回terraformで作成するもの一覧
1. S3バケット
2. S3バケットポリシー
3. Lambda
4. CloudFront Distribution今回はインフラ構築のみで行くので、S3に配置するindex.htmlは手動でアップロードします（github + circleciで自動化出来たりもしますが今回はパス）。
アクセスはCFのドメインでアクセスするところまでです（Route53やらACMでドメインの作成管理もterraformで出来ますが、そこまでterraformでやらなくても…..と思うので割愛）。
アクセスログの設定は今回すっ飛ばします。まずは作ってみましょうというお話になります。terraformのバージョンはこちら
“`
$ terraform –version
Terraform v0.15.0
on darwin_amd64
Your version
Terraform で Fargate の環境とデプロイのパイプラインを構築する
#はじめに
本記事では、Terraform で ECS の Fargate の環境と Docker イメージのデプロイのパイプライン
([CodeCommit + CodeBuild + CodeDeploy + CodePipeline](https://aws.amazon.com/jp/devops/))を構築する手順を記載しています。初学者のハンズオンやApp Runner に興味を持った開発者の試用の為に利用することを想定しています。
#Terraform で構築する全体構成図
本環境でのイメージのデプロイは、ローリングアップデートを選択しています。
#Terraform で構築するAWSリソースのBlackBeltの資料[VPC](https://d1.awsst
Can’t connect to local MySQL server through socket ‘/var/lib/mysql/mysql.sock’ (111)エラーの解決方法
#Can’t connect to local MySQL server through socket ‘/var/lib/mysql/mysql.sock’ (111)
capistranoでのデプロイ時に“`
Caused by:
SSHKit::Command::Failed: rake exit status: 1
rake stdout: Nothing written
rake stderr: rake aborted!
Mysql2::Error::ConnectionError: Can’t connect to local MySQL server through socket ‘/var/lib/mysql/mysql.sock’ (111)
“`
上記のエラーが出た。MySQLサーバーと接続するタイミングで接続ができなくエラーが出た模様。
解決策としてはMySQLサーバーを再起動させることにより解決できる場合が多い。
“`console:EC2コンソール
$ sudo systemctl restart mysqld.service
“`
上記
AWS CDKでRailsアプリをECS（on Fargate）にデプロイしてみる
## 概要
普段はTerraformでインフラ管理をしているのですが、つい先日、興味本位でAWS CDKを使ってみました。
とりあえず手始めにRuby on Rails製のアプリをECS（on Fargate）にデプロイしてみたので、色々とメモ書きしておきます。
※Railsとは？AWS CDKとは？みたいな解説はほとんど無いので、すでにある程度それぞれの概要を押さえている人向けの記事です。
## 完成イメージ
– GCP
– VPC
– Regionを超えて**グローバルな存在**
– VPCの中で複数のRegionを使える
– IPレンジの定義が**ない**
– サブネット
– Regionの中に作成
– サブネットの中で複数のZoneを使える
– IPレンジを定義
– AWS
– VPC
– Regionの中に作成
– VPCの中で複数のAZを使える
– IPレンジを定義
– サブネット
– AZの中に作成
– IPレンジを定義
新サービス AWS App Runner を使ってみた
# 初めに
AWSの新サービス**App Runner**がローンチされました。どんな手順でWebアプリをデプロイできるのか確認してみました。ECSよりも格段にデプロイが簡単でした。
### App Runner
– コンテナネイティブのフルマネージドサービス
– オーケストレーターの設定、ビルドパイプラインの準備、ロードバランサーの調整、 TLS 証明書のローテートなどは必要ない
– サーバーレス
– ECR または GitHub をプロバイダーとして利用可能https://aws.amazon.com/jp/blogs/news/introducing-aws-app-runner/
# デプロイ手順
## 事前準備
今回はECRを使います。事前にECRにイメージをプッシュしておきます。## 1 イメージを選択
「参照」をクリックし使用するイメージを選択します。
の生活を送っているため、触る機会がありませんでしたが、AWSのSageMarkerを今後使ったらどうかという話になり調査をする必要がありました。そこで重い腰をあげ、AWSをやろうとしたところ、さっそくエラーに当たり色々調べて対処したのでまとめたいと思います。
エラー内容は基本的なことになります。
Dockerにそこまで詳しくなく、AWSを初めての方でしたら直面するかもしれない問題でした。# 環境
– windows
– Docker
– Python3
– JupyterNotebook# 問題
Dockerを利用して、JupyterNotebook環境を立ち上げて、AWS SDK for pythonを使おうと以下のコードを実行しました。“`
!pip install –upgrade boto3
import boto3client = boto3.client(‘s3′, region_name=’
AWS EBS,EFS,S3,Glacier,Storage Gateway
#AWS ３つのストレージサービス
###・ブロックストレージ
ーEC2にアタッチして活用するディスクサービス
ー高速・広帯域幅
**ーEBS、インスタンスストア**###・オブジェクトストレージ
ー安価かつ高い耐久性を持つオンラインストレージ
ーオブジェクtp形式でデータを保存
**ーS3、Glacier**###・ファイルストレージ
ー複数のEC2インスタンスから同時にアタッチ可能
ーファイル形式でデータ保存
**ーEFS**#EBS ブロックストレージ
ブロックストレージサービスで、EC2のOS領域、EC2の追加ボリューム、RDSのデータ保存領域などに使用する。基本的にEC2に対して１対１に対応するサービス。同一のAZ内で複数のEC2にはEBSマルチアタッチ機能でできるが、制約も多く限定的な用途になる。EBSのスナップショット（バックアップ）を取得することで、EBSボリュームを作成しAZ指定を行える。
####【EBSの特徴】
・99.999%の可用性
・EC2インスタンスは他のAZ内のEBSにアクセスできない。同じAZ内のみ。
・同じAZ内であれば付け替えは
【AWS】EC2インスタンスのユーザーデータ
#プログラミング勉強日記
2021年5月21日
EC2インスタンスを起動するときにユーザーデータを活用してセットアップを自動化できる。#ユーザーデータ
インスタンスの起動の詳細設定の一番下にあるものがユーザーデータになる。スクリプトを設定することでLinuxの初期設定を自動化できる。
#ユーザーデータの活用
EC2インスタンスを立ち上げるたびにアップデートやApacheのインストールをするのはめんどくさいので、スクリプトを実行することで(スクリプトをユーザーデータに入れておくことで)、ユーザーデータからスクリプトのデータをインスタンスに引き渡すことができる。起動するときにそのスクリプトを自動で実行してくれる。
【AWS 最初に知っておきたい単語 VPC編】
**1.VPC （バーチャルプライベートクラウド）**
・AWSアカウント内に構築できる仮想ネットワーク。AWSで作ったものを繋げるサービス。例えるなら、自分専用のバーチャルな土地！**２.AZ （アベイラビリティーゾーン）**
・地理的に独立したデータセンター。AZを束ねた地域のことをリージョンと呼ぶ。AZ・リージョンが一極集中していないのは、災害やトラブルが起こった時にサービス停止のリスクを減らすため。例えるなら、自分専用のバーチャルな土地が保管されている所。**3.Subnet （サブネット）**
・其の名の通り、サブのネットワーク。部署を分けるようなニュアンス。（これは自社内でするやつ、あれはお客さんに提供するやつ）、無駄な通信を減らし、セキュリティも向上する。例えるなら、専用のバーチャルな土地を使い方によって切り分けた土地のひとつ。**4.Route Table （ルートテーブル）**
・ネットワークの経路を設定するコンポーネント。サブネットに関連づけて使用する。例えるなら、専用のバーチャルな土地に行くまでの地図。**5.Internet gatewa
S3の大量オブジェクトの削除方法
## はじめに
サービスで使用している画像ファイルが8億オブジェクト以上ある中で、
一部サービス終了に伴い画像ファイルを削除する必要が発生し
大量にあるので、マネージメントコンソールからオブジェクトの削除を実施しても
完了しない・タイムアウトになることから安全かつ確実に削除する方法を実施したものを
まとめてみました。## 前提
１つバケットに対して、フォルダごとに機能別にオブジェクト（画像）を管理している。## やりたいこと
バケットの中のオブジェクトは現状サービスでも使われているものもあるので、
バックアップを取得して安全に削除を実施すること。## 課題
大量のオブジェクトがあることから、マネージメントコンソールやawscliでは難しいこと。## 解決策
大量のS3オブジェクトに対して一括でAPIを実行できるS3 batch Operatonsで、
削除するオブジェクトに対してタグを付け、念のためにバケット全体のバックアップで
オブジェクトのコピーを実施する。
（全体のバックアップはもしかしたら不要かもしれないが、削除するものだけバックアップをとる方がいい）削除
【全くの初心者がAWSを学ぶ前に知っておきたいAWS学習手順】
「全くの初心者がAWSを学び始めて陥る罠」
・”VPC、EC2、AZ、API、RDS、IGW、AMI、Snapshot…などなど、横文字が多くて意味が分からない。”
・”動画講座を観て、指示通りにやってみたが画面が同じようにならず、不安になる。”
以上のような気持ちにならなかったでしょうか？
少なくとも私はなりました笑〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜
「私が実際に行った手順」
・”VPC、EC2、AZ、API、RDS、IGW、AMI、Snapshot…などなど、横文字が多くて意味が分からない。”
→まずは〈 ”概要理解” 〉から！
〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜
概要理解→ハンズオン（実際に手を動かす）→ハンズオンで作っているものとは別に設定やサーバー構築を行う→使っているうちに単語を覚える（テスト形式でインプットする）
流れです。
〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜
「概要理解」
個人的に分かりやすかったYouTub
AWS SageMakerでYOLOv3の推論エンドポイントを立てて物体認識をやってみた
# はじめに
どうも、皆川です。YOLOv3を使って推論エンドポイントを立てて実際に画像を物体認識させてみます。悪名高いSageMakerのコンソールの操作手順や推論エンドポイントの叩き方に慣れることを目的としています。以下が記事の流れです。### AWSマーケットプレースで物体認識のDeepLearningモデルのYOLOv3を手に入れる
↓
### そのモデルを推論エンドポイントとしてデプロイする
↓
### 自分のMacOSでAWS CLIとPythonを使った2種類の方法で推論を実行してみる。推論にはローカルの画像ファイルを使う。１と2の手順が明確に分離できないのでまとめて一気に紹介しています。
# 推論させる画像
今回推論させる画像はこちら！筆者の好きなアメリカのシットコム「サインフェルト」からのワンシーンです。
# 注意
AWSのGPUインスタンス構築 値段を抑えて最短で構築する
# はじめに
本記事はAWSクラウド（以降、AWS）でGPUインスタンスの値段を抑えてかつ、最短で構築する方法について記載しています。例えば、AWSを利用してGPUインスタンスを構築する場合、安易に有料のAMIを利用してGPUインスタンスを構築するのはナンセンスです。
AWSのサービス内容を正しく理解した上で導入することにより、コストを抑えることができます。また、Terraformを活用することで構築時間を短縮してGPUインスタンス環境を用意することができます。
GPUを利用する場合は、前提としてNVIDIAドライバ、CUDA、cuDNN等の知識が必要です。これらについては以前書いた[UbuntuでGPUマシーンを構築する](https://qiita.com/Brutus/items/2db051ec2bcfa726cc2f)を参照。
## GPUの導入における検討事項
オンプレミスやクラウドに関わらず、GPUを導入する場合は、色々と考えないといけないことがあります。AWSにおいてEC2のGPUインスタンスを使用して、ディープラーニングや学習済みモデルを動かす場合は、以
Cloud9でデバッグしてみよう
##転載元
当記事は以下ブログからの転載です。
[TECH BACK](https://techback.info/aws-cloud9-debug/)##はじめに
Cloud9でデバッグする手順をまとめます。Cloud9環境でプロジェクトをデバッグします。
##デバッグ環境設定
環境設定というか、前の環境に戻してデバッグしましょうといった内容です。
2020年の後半位で、Cloud9のアップデートがありました。コレにより、従来の方法でのデバッグができない（？）ため、旧バージョンの状態に戻してデバッグしましょうというのが、本手順です。
まずはデバッグの環境設定をします。環境設定は初回のみでOK。
**Cloud9アイコン → Preferences**
**AWS Settings → AWS Toolkit** をOFFにし
CodeCommitからCloud9(EC2)にClone
## 転載元
当記事は以下ブログからの転載です。
[TECH BACK](https://techback.info/aws-cloud9-codecommit-clone/)## はじめに
[前回](https://qiita.com/teckback/items/70fbad957e98c91b9252)の記事で、Cloud9で開発しているプロジェクトをCodeCommitにPushしました。今度は、Cloneしてくる側の手順をまとめます。
## この記事で出来ること
CodeCommitにあるプロジェクトを、Cloud9環境にCloneして来ます。 今回CloneしてくるCodeCommitのリポジトリは下記の記事で作成したものを使っています。
[Cloud9のプロジェクトをCodeCommitで管理](https://qiita.com/teckback/items/70fbad957e98c91b9252)
## Cloud9で環境作成
Cloud9を開き、**Your enviroment** → **Create enviroment**[
