- 1. 【AWS】EC2の概要(EC2の特徴と起動方法)
- 2. 【AWS セキュリティ対策】AWS Security Hub
- 3. Amazon GuardDutyを使ってみた
- 4. 【随時更新】AWS セキュリティ製品 まとめ
- 5. 【AWS セキュリティ対策】AWS WAF編
- 6. 【AWS セキュリティ対策】Amazon Detective編
- 7. 【AWSで始める異常検知】Part1. 異常検知の始め方
- 8. 【AWSで始める異常検知】Part2. Amazon SageMakerで設備故障の検知
- 9. 【AWSで始める異常検知】Part3. 異常検知に便利なAWS製品
- 10. AWS Summit 2021に参加しました
- 11. クロスアカウントでAthenaクエリ
- 12. Vue.js + axiosでLambdaのAPIを叩く方法
- 13. Capistrano自動デプロイ時に (SSHKit::Runner::ExecuteError)エラーの解決法
- 14. AWS初心者の俺がたった10日でAWSプラクティショナーに合格した件。
- 15. Errno::ENOSPCが表示された時
- 16. AWS勉強まとめ
- 17. AWS S3 からバケットごと一括でダウンロードするとき手順メモ
- 18. AWS仕組み
- 19. 自分用メモ: CloudWatchの捉え方
- 20. Django アプリを AWS EC2 にデプロイ
【AWS】EC2の概要(EC2の特徴と起動方法)
#プログラミング勉強日記
2021年5月14日#EC2とは
EC2はAmazon Elastic Compute Cloudの略で、AWSで利用できるシステムの1つ。AWS上に仮想サーバーを構築して自由に利用できる。クラウド環境において様々な役割を担っている。#EC2の特徴
– 数分で利用可能な従量課金(時間~秒単位)
– 起動・ノードの追加・削除・マシンのスペック変更が数分で可能
– アンマネーシド型(物理的なインフラ管理はAWS側、立ち上がったサーバーの管理や設定はユーザ側)
– 物理的なインフラは汎用的なIntelアーキテクチャを使っている
– WindowsやLinuxなどほとんどのOSをサポート
– 独自のAmazon Machine Image(AMI)にOSを設定して保存してバックアップのように使える。EC2では仮想サーバーのことをインスタンスという単位で扱い、任意のAZにインスタンスを立ち上げてサーバーとして利用する。(インスタンスは1つのAZに設置し、リージョンに直接設置することない)インスタンスには様々な種類や性能のものがある。
Part.2
[Amazon GuardDuty](https://qiita.com/m-ide/private/ccc87341eed291e606ee)
Part.3
[AWS Detective](https://qiita.com/omiyu/private/7e00bcbe685db53cdc9f)【随時更新】 AWS セキュリティ製品一覧：
https://qiita.com/omiyu/private/830477c436b4000ae680#はじめに
AWS Security Hubについてまとめてみました。
AWS Security Hubの概念から実際どのように使用するのか？といったところまで今回はまとめてみたいと思います。
#概要
AWS
Amazon GuardDutyを使ってみた
# 構成
こちらの記事は AWS セキュリティサービスを使ってみた シリーズの Part. 2の記事です。
他にも以下のサービスについてまとめております、ぜひご覧ください。Part.1
[AWS WAF](https://qiita.com/omiyu/private/2fbdcbd3b9b8998930e7)
Part.2
[Amazon GuardDuty](https://qiita.com/m-ide/private/ccc87341eed291e606ee)
Part.3
[AWS Detective](https://qiita.com/omiyu/private/7e00bcbe685db53cdc9f)
Part.4
[AWS Security Hub](https://qiita.com/banana-877/private/b7292043fb6da2d8bc13)【随時更新】 AWS セキュリティ製品一覧：
https://qiita.com/omiyu/private/830477c436b4000ae680## Amazon Guar
【随時更新】AWS セキュリティ製品 まとめ
#はじめに
AWSにはセキュリティを高めるためのサービスが豊富にあります。
それぞれがセキュリティを高める上でどんな役割を担っているのかについて、本記事では簡単に整理していきます。
過去に検証したことのあるサービスについては、[検証記事]のカラムにリンクを貼っております。どんな人向け：
AWSってサービス多くて何がなんだか分からない って人。
AWSを使っている。 セキュリティを高めるために 何を使うか検討中 って人。#Identity ＆ Access Management
|サービス名 |概要 |検証記事 |
|—|—|—|
|[AWS Identity & Access Management (IAM)](https://aws.amazon.com/jp/single-sign-on/?c=sc&sec=srv) |AWS のサービスやリソースへのアクセスを安全に管理する | |
|[AWS Single Sign-On](https://aws.amazon.com/jp/single-sign-on/?c=sc&sec=srv) |AW
【AWS セキュリティ対策】AWS WAF編
# 構成
こちらの記事は AWS セキュリティサービスを使ってみた シリーズの Part.1 の記事です。
他にも以下のサービスについてまとめております、ぜひご覧ください。Part.1
AWS WAF （本記事）
Part.2
[Amazon GuardDuty](https://qiita.com/m-ide/private/ccc87341eed291e606ee)
Part.3
[AWS Detective](https://qiita.com/omiyu/private/7e00bcbe685db53cdc9f)
Part.4
[AWS Security Hub](https://qiita.com/banana-877/private/b7292043fb6da2d8bc13)【随時更新】 AWS セキュリティ製品一覧：
https://qiita.com/omiyu/private/830477c436b4000ae680## AWS WAFとは
>AWS WAF は、Amazon CloudFront ディストリビューション、Amazon API Gatew
【AWS セキュリティ対策】Amazon Detective編
# 構成
こちらの記事は AWS セキュリティサービスを使ってみた シリーズの Part.3 の記事です。
他にも以下のサービスについてまとめております、ぜひご覧ください。Part.1
[AWS WAF](https://qiita.com/omiyu/private/2fbdcbd3b9b8998930e7)
Part.2
[Amazon GuardDuty](https://qiita.com/m-ide/private/ccc87341eed291e606ee)
Part.3
AWS Detective （本記事）
Part.4
[AWS Security Hub](https://qiita.com/banana-877/private/b7292043fb6da2d8bc13)【随時更新】 AWS セキュリティ製品一覧：
https://qiita.com/omiyu/private/830477c436b4000ae680## Amazon Detective とは
>Amazon Detective では、潜在的なセキュリティ問題や不審なアクティビティの根
【AWSで始める異常検知】Part1. 異常検知の始め方
#異常検知とは何か
他の大多数のデータとは振る舞いが異なるデータを検出する技術で、
クレジットカードの不正使用検知や機械故障の検知等の分野で用いられています。#異常検知の代表的な手法
以下のような手法がよく用いられています。
– ホテリング理論
– k近傍法
– 局所外れ値因子法（LOF法）#異常検知の活用事例
__製品の品質チェック__
画像認識の技術を用いて、今まで目視で完成品をチェックしていたものを自動化します。__設備や機器に対する異常検知__
センサーから取得したデータを用いて、異常データを検出するようにモデルを構築し、トラブルを早期に発見します。__クレジットカードの不正使用検知__
不正利用のパターンをデータ化し、24時間365日カード利用を監視します。
不正利用の事例と類似した場合は、カード利用を停止したり カード名義人へ連絡が入ったりなどの対応が行われます。#異常検知にAIを活用するメリット
– 人の目や長年の経験がないと分からなかった故障などの判断をAIに置き換えることができる
– 人間では感じられない違いを画像やデータによって補完するこ
【AWSで始める異常検知】Part2. Amazon SageMakerで設備故障の検知
#はじめに
AWS ソリューションライブラリーにて提供されている [機械学習を利用した予知保全](https://aws.amazon.com/jp/solutions/implementations/predictive-maintenance-using-machine-learning/) の実装をやってみます。
用意されているAWS CloudFormation テンプレートを使用するので簡単にデプロイできます。##Amazon SageMakerとは
Amazon SageMaker は、機械学習モデルを短期間で簡単に構築、トレーニング、デプロイできるようにするフルマネージド型サービスです。
あらゆる作業を効率化する機能が提供されているため、人手をかけずに異常検知をやりたいときに最適なサービスです。#本記事のゴール
機械学習モデルとターボファンの劣化シミュレーションデータのサンプルデータセットをデプロイして、潜在的な設備故障を認識するようにモデルをトレーニングするというサンプルアーキテクチャを紹介します。アーキテクチャ図は以下の通りです。
 では、Amazon SageMaker を使って異常検知のサンプルアーキテクチャをご紹介しました。
AWSにはSageMakerの他にも異常検知に便利なサービスがあるので、本記事にて代表的なものをいくつかご紹介いたします。#Amazon Monitron
Amazon Monitron は、機械学習を使用して産業機械の異常な動作を検出し、予知保全によってダウンタイムを低減することを可能にすることができます。
産業機械にMonitronセンサーを取り付け 振動や熱を計測し、そのデータをクラウド上に転送して機械学習によって異常な動作を検知します。__※2021/05/10時点で米国、英国、およびEUのみでデバイス購入可能、利用できるリージョンは米国東部 (バージニア北部) および欧州 （アイルランド）のみです。__
https://aws.amazon.com/jp/monitron/
## Amazon Monitron に含まれるもの
AWS Summit 2021に参加しました
概要
日時
2021年05月11日, 12日
場所
online
主催者
Amazon Web Services, Inc
参加方法
こちらに登録してオンデマンド配信できるメディアコンテンツの収益化と分析を⾃動化・改善するために AIを活⽤する
メディアにおけるAI推進要因
コスト
CS改善
強化するAIサービス
Amazon Rekognition
イメージとビデオ
人検知、テキストの検出、顔検出と分析、動線検出
Transcribe
speech2text
ライブストリーミングに低遅延、フルマネージド、スケーラブル
Translate
機器翻訳
Comprehend
自然言語処理
Personalize
クロスアカウントでAthenaクエリ
https://aws.amazon.com/jp/about-aws/whats-new/2021/05/amazon-athena-adds-built-in-support-for-cross-account-aws-glue-data-catalogs/
Atheaのクロスアカウントを試した自分メモ
* データ所有アカウント：999999999999
* Athenaクエリするアカウント：6666666666666666..でAthenaクエリ
9999..にGlueカタログやS3のオブジェクト## 権限設定
### S3権限
【データ所有アカウント操作】
“データ所有アカウント”のAthenaでクエリされるS3バケットのバケットポリシーを以下のようにして、”Athenaクエリアカウント”からのアクセス許可しておく“`json
{
“Version”: “2012-10-17”,
“Id”: “Policy1620910711847”,
“Statement”: [
{
“Sid”: “Stm
Vue.js + axiosでLambdaのAPIを叩く方法
# 開発環境
+ Windows10
+ AWS Lambda
+ Vue.js# APIの作成
## Lambda
“`python:lambda.function.py(GET)
import jsondef lambda_handler(event, context):
items = [‘福岡’,’佐賀’,’熊本’,’大分’,’鹿児島’,’長崎’]
return {
‘statusCode’: 200,
‘body’: json.dumps(items),
‘headers’: {
‘Access-Control-Allow-Headers’: ‘*’,
‘Access-Control-Allow-Origin’: ‘*’,
‘Access-Control-Allow-Methods’: ‘OPTIONS,POST,GET’
}
}“`
“`python:lambda.function.py(OPTI
Capistrano自動デプロイ時に (SSHKit::Runner::ExecuteError)エラーの解決法
# はじめに
Capistrano自動デプロイ時に
(SSHKit::Runner::ExecuteError)エラーが出たのでその解決法を書いておきます。# エラー内容
“`{lst:Terminal}
# プロジェクトのディレクトリ
$ bundle exec cap production deploySSHKit::Runner::ExecuteError: Exception while executing as ec2-user@ElasticIP: Authentication failed for user ec2-user@ElasticIP
Caused by:
Net::SSH::AuthenticationFailed: Authentication failed for user ec2-user@ElasticIPTasks: TOP => rbenv:validate
(See full trace by running task with –trace)“`
# 原因
インスタンスを再起動したことで、
sshディレクトリに
AWS初心者の俺がたった10日でAWSプラクティショナーに合格した件。
# はじめに
クラウドファーストのこの時代。トップシェアを誇るAWSの知識は全エンジニアにおいて不可欠なものになりました。
自分は、インフラ案件に携わったことが無いAWS初心者でしたが、まずは手始めに「AWSプラクティショナー」の資格を取ろうと思いました。
短期間で取得したかったので、計画的に学習した結果、約10日で取得出来ました。
`「どうやって短期間で取るのか？」`に重きを置いて解説したいと思います！# AWSプラクティショナーとは？
> AWSクラウドの知識とスキルを身に付け、全体的な理解を効果的に説明できる個人が対象です。その他の AWS 認定で扱われる特定の技術的役割からは独立しています。(中略)
AWS認定クラウドプラクティショナーは、アソシエイト認定または専門知識認定を取得するために推奨される任意のステップです。(参照) [AWS 認定 クラウドプラクティショナー]
(https://aws.amazon.com/jp/certification/certified-cloud-practitioner/)AWSを利用する上での基本的な知識を中心とした問題が
Errno::ENOSPCが表示された時
rails sでサーバーを立ち上げようとすると、Errno::ENOSPCの表示が。
###エラー内容
まずこのエラーの内容を確認すると、「No space left on device」の文字が確認でき、これは容量不足を示しています。
こいつが起きると何も操作ができなくなってしまい、だいぶやっかいです。
この容量不足には、ディスクの容量不足とinodeの容量不足の2パターンがあります。##解決に向けて
※出力結果は例となります。まずは以下コマンドにて、現在の使用容量を確認します。
“`:ターミナル
$ df>ファイルシス 1K-ブロック 使用 使用可 使用% マウント位置
devtmpfs 492676 0 492676 0% /de
AWS勉強まとめ
##はじめに
AWS初挑戦の記録です。
ほんの一握りの知識ですがまとめました。インフラの学習はコードを書くわけでもなく、目に見えた変化も感じにくいので大変ですね。。。
この記事を見て、一人でも参考になる方がいれば幸いです。
##専門用語
__■ローンチ__
新しい商品やサービスの提供を(開始)すること__■オーバーヘッド__
コンピュータが何か処理を行った時に発生する付加的な処理(負荷になる)
(実行したい処理に関わることだけど必要ない処理)__■ファイアウォール__
不正な通信がネットワークに侵入することを遮断し、保護するセキュリティ対策機能__■ストレージ__
データをしまっておく箱
電気が流れていなくてもデータを保存しておくことができるがCPUとやりとりはできない
(CPUとやりとりするのはメモリの役割)__■I/O__
input/outputの略。日本語訳「入出力」
情報を入力し(input)、結果を出力する(output)という処理の総称__■メタデータ__
主となるデータの付帯情報が書いてあるデータ(補足、説明
AWS S3 からバケットごと一括でダウンロードするとき手順メモ
AWS S3 からバケットごと落としてくるとき自分用メモです。
初めてされる方は公式ドキュメントを読みましょう。## aws コマンドのインストール
https://docs.aws.amazon.com/ja_jp/cli/latest/userguide/install-cliv2-linux.html
“`shell
curl “https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip” -o “awscliv2.zip”
unzip awscliv2.zip
sudo ./aws/install
aws –version
“`## 接続情報の設定
https://docs.aws.amazon.com/ja_jp/cli/latest/userguide/cli-configure-quickstart.html
“`
aws configure
“`## バケット取ってくる
https://docs.aws.amazon.com/ja_jp/cli/latest/userguide/cli
AWS仕組み
AWSの仕組みについて勉強したのでメモしていきます。
EC２は簡易的なサーバーのようなもの
アカウントさえあれば数分で作ることが可能。またELB（ロードバランサー）を使用すれば冗長構成も可能
メインとセカンダリのサーバを構成できる。後にDBを追加して解析、蓄積も可能（RDS）
ネットワークを構築して使用する場合は
VPCに接続して仮想的に、サーバーの運用が可能外部に繋いでいく場合、DNSサービスとしてRoute５３というサービスがある
またバックアップにS3というストレージに保存可能
##仕組み
アンマネージド
スケーリング 冗長構成
ユーザー側で管理
設定が柔軟
EC2 サーバのセッティングは自分でやるマネージド
AWS側で管理
設定範囲が限定的
Route５３ AWS側で管理 １００％の可用率グローバルインフラ構成
リージョン＞AZ＞エッジロケーション世界中に多数のデータセンター
リージョン ２４
地域で分けられている
中国は他国と違う
中国はデータを提示する義務がある
日本には東京 大阪がある
リージョン間は物理的に完全に独立したインフラ拠点
自分用メモ: CloudWatchの捉え方
CloudWatchは[時系列DB](https://qiita.com/kanegoon/items/054b53c4c15609d32d3a)を直接操作させてくれるサービスと捉えれる.
InfluxDBは時系列DBである.
InfluxDBには[Continuous Query](https://docs.influxdata.com/influxdb/v1.8/query_language/continuous_queries/#introduction)というのがある.> メトリクスの保持
CloudWatch には、メトリクスデータが次のように保持されます。
* 期間が 60 秒未満のデータポイントは、3 時間使用できます。これらのデータポイントは高解像度カスタムメトリクスです。
* 期間が 60 秒 (1 分) のデータポイントは、15 日間使用できます。
* 期間が 300 秒 (5 分) のデータポイントは、63 日間使用できます。
* 期間が 3600 秒 (1 時間) のデータポイントは、455 日 (15 か月) 間使用できます。InfluxDBではこれは
Django アプリを AWS EC2 にデプロイ
# はじめに
フロントエンド React + バックエンド Django REST Framework でアプリを作成したが、ローカル環境でしか動かすことができないので、AWS EC2 インスタンス上にデプロイして外部からもアクセスができるようにする。[React アプリを AWS EC2 にデプロイ](https://qiita.com/honda28/items/a9c3f6174620b22e1b9b)にて、フロントエンド側をデプロイしたので、今回はバックエンドである DRF API をデプロイすることとし、Web サーバーソフトウェアには、nginx を用いる。なお DRF API はすでに作成されていることを前提とする。[【丁寧解説】秒速でもDjango 3アプリをAWS EC2で公開【Nginx, gunicorn, postgresqlデプロイ】](https://qiita.com/Bashi50/items/d5bc47eeb9668304aaa2)を参考にした。
# GitHub への push
デプロイ前にコードを GitHub へ push する。DB と
