- 1. Athenaで基礎からしっかり入門 分析SQL(Python・Pandasコード付き) #3
- 2. Amazon Auroraを自動停止・起動する
- 3. AWS 認定ソリューションアーキテクト アソシエイト 合格するまで
- 4. AWS CDKでReactをCloudFront+S3にデプロイする
- 5. AWSの各サービスのWeb検索回数の比較表
- 6. SCSを受験した結果とリモート受験ではOnVue一択
- 7. AWSにおけるネットワークと関連技術についてまとめてみた
- 8. s3のCSE,SSE とは
- 9. AWS認定セキュリティ – 専門知識を受験した時の話
- 10. Amazon Workspacesにログイン・ログアウトしたユーザー情報を記録したい
- 11. 40 代おっさん 冗長性のあるブログを構築してみた ③
- 12. 何となくわかった気になる週刊AWS – 2021/8/2週
- 13. zabbixエージェントをインストールしてサーバーとホストで通信する
- 14. 【AWS】AWS Lambda
- 15. Terraformで仮想ネットワークを構築
- 16. AWS Amplify(Cognito)でAuthエラーが出た(AuthError – Error: Amplify has not been configured correctly. )
- 17. Amazon GuardDutyを各リージョンで一括 有効/停止/削除
- 18. 【AWS】amplify CLIの用意
- 19. LambdaのProvisioned Concurrency とは
- 20. AWS認定クラウドプラクティショナー勉強日記
Athenaで基礎からしっかり入門 分析SQL(Python・Pandasコード付き) #3
今まで複雑なデータ操作・分析などはPythonでやっており、SQLは普通のアプリ開発程度のライトなものしか触って来なかったのですが、やはり分析用の長いSQLなども書けた方がやりとり等で便利・・・という印象なので、復習も兼ねて記事にしておきます。
また、SQLに加えて検算も兼ねてPythonやPandasなどを使ったコードもSQLと併記していきます(Pythonで書くとどういった記述が該当するのかの比較用として使います)。
※長くなるのでいくつかの記事に分割します。本記事は3記事目となります。
# 他のシリーズ記事
※過去の記事で既に触れたものは本記事では触れません。
`#1`:
用語の説明・SELECT、WHERE、ORDER BY、LIMIT、AS、DISTINCT、基本的な集計関係(COUNTやAVGなど)、Athenaのパーティション、型、CAST、JOIN、UNION(INTERSECTなど含む)など。
https://qiita.com/simonritchie/items/0d84646e3db940e98b14
`#2`:
GROUP BY・HAVING
Amazon Auroraを自動停止・起動する
##はじめに
Amazon Auroraの自動起動の設定方法。[こちら] (https://qiita.com/bambis13s/items/a4480a5e0007b01dd95a)の記事を見ながら行ったのですが、ポリシーの部分でつっかえたり起動しなかったりしましたのでRDSインスタンスとは自動設定が違うのかなと思いメモとして残します。
今回はEventBridgeとSSMAutomationを利用します。よろしくお願いします(。・ω・)ノ゙##ポリシーの作成
実行用のポリシーとロールが必要なので作成してきます。
IAMの画面からポリシーの作成をクリック
![スクリーンショット 2021-08-13 062648.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/993659/929e5745-2579-332a-3eb7-6abbcde59941.png)**◆Auroraに対するアクセス許可**
・サービスでRDSを入力しアクションで「StartDBCluster」「StopDB
AWS 認定ソリューションアーキテクト アソシエイト 合格するまで
2021年8月16日に「AWS 認定ソリューションアーキテクト アソシエイト(SAA-C02)」試験を受け合格しました。
受けるまでの過程や購入した教材、学習時間などをできるだけ細かく記載していきます。
受験を考えている方の参考になれば幸いです。# 受験しようと思うまで
プログラミングスクール(2021年7月まで在学)でAWSを使って、Ruby on Railsを使ったポートフォリオをデプロイしました。* この時に行ったこと
* VPC関連(サブネット、ルートテーブル、インターネットゲートウェイ、セキュリティグループ)
* ALB
* AMI
* EC2(t2.micro)
* RDS(MySQL)
* S3
* Lambda
* Cloud9
* IAM(IAMロールの作成、IAMユーザーの作成)習ったのはポートフォリオをデプロイするため最小で最安になるような構成と超基礎的な機能です。
在学中に習ったことの物足りなさやクラウドインフラが楽しかったというのもあり、在学終盤ごろにAWSの資格に興味が沸きま
AWS CDKでReactをCloudFront+S3にデプロイする
## 本記事でやること
– AWS 上に [CloudFront + S3 の構成](https://docs.aws.amazon.com/AmazonCloudFront/latest/DeveloperGuide/getting-started-secure-static-website-cloudformation-template.html) で静的ウェブサイトをホスティングします
– [create-react-app](https://create-react-app.dev/) で作成した React のアプリケーションを題材にします
– [AWS CDK](https://docs.aws.amazon.com/cdk/index.html) を使用して、CloudFront や S3 をプロビジョニングし、アプリケーションのデプロイまで行います
AWS CDK を使用すると、アプリの S3 へのアップロードから CloudFront の Invalidation まで、デプロイ作業がすべて自動化できます!すごい!![cloudfront.png](h
AWSの各サービスのWeb検索回数の比較表
## 動機
2021年、久しぶりにAWSを勉強しなおしてみようと思い立ったが、あまりにもサービスが多くてやる気を削がれた。
何から始めようか悩んだ末、まずは人気のあるサービスがどれなのか、調べてみることにした。
人気のあるサービスの調べ方として、Web上での検索回数が多いものが人気と仮定し、
Google Trendsで検索回数を比較することで大体のことがわかるのではと考えた。## 調査の方法
Google Trendsでキーワード検索回数を比較した。
安定して人気があるであろうS3を基準に、それぞれの直近1か月の検索数平均値を数値化してみた。
比較対象は以下のページの機能とさせていただいた。
https://dev.classmethod.jp/articles/aws-summary-2021/検索数の数値は、AWS S3と対象のサービスの直近一か月の検索回数をTrendsで比較し、
S3を100として比較した数値として算出した。## 結果
| サービス | 検索数スコア |
|:-:|:-:|
| Amazon Simple Storage Service | 10
SCSを受験した結果とリモート受験ではOnVue一択
# SCS
AWSの資格をプロフェッショナルまで取得したのでスペシャリストに挑戦しました。
プロフェッショナルの記事はこちら
https://qiita.com/instant_baby/items/4b8d3104d7b941126e4a
プロフェッショナル資格を取って約半年の期間を空けて受験しました。
普段業務ではldapを使用したユーザー管理やawsでIAMユーザーの保守運用を主に扱っています。今回勉強するにあたり、基本的には公式ドキュメントを読み込むことをメインにしました。
時たまkoiwaclubを利用した程度です。結果的に、↑の問題から類似した問題はほぼほぼ出なかったという印象でした。
AWSのセキュリティに関するあれこれは仕事でそこそこ触っていたので、個人的な難易度としてはSysOps程度の感触です。IAM、セキュリティグループやNACL、WAF、GuardDuty、いわゆるセキュリティに関わるサービスを網羅するようにドキュメントを読み込んでいけば合格に近づくのではないかと思います。
学習期間は
AWSにおけるネットワークと関連技術についてまとめてみた
# なぜAWSのネットワーク分野を選んだのか?
– 現在、某SES企業でひよっこネットワークエンジニアである(業務は完全にオンプレのみ)
– オンプレとクラウドにおけるネットワークに違いについての理解を深めたい
– ネットワークは不可欠だが、軽視されている(気がする)
– これから受検予定のAWS ANS対策# 前提
まずは大前提となる、AWSグローバルインフラストラクチャ(リージョン、AZ)について簡単にまとめる。それを踏まえて、VPCとそれに乗っかるAWSサービスを一つずつ見ていく。
自分がわかる範囲で、オンプレのネットワーク技術との関連付けや比較も行っていきたい。## リージョン (Region)
– データセンターが集まった物理的ロケーションのことで、世界に25ヶ所存在する。(2021年8月現在)
– 耐障害性のために、1リージョンに必ず2つ以上のAZがある。
– リージョンによって、利用できるサービスや料金が異なる。
– 最新の技術はバージニア北部などのUSのリージョンでスタートするらしい。
– 下記のように今後もどんどんと増えていく予定。
![AWS_グローバル
s3のCSE,SSE とは
## 勉強前イメージ
わからない・・・
## 調査
### CSE,SSE とは
#### CSE
Client Side Encryption の略で、
クライアント側で暗号化・復号化を行う暗号化方式です。
s3のCSEには以下の2種類があります。– CSE-KMS
– KMSで作成したCMKを使って暗号化を行う
– CSE-C
– ユーザが用意した鍵で暗号化を行う#### SSE
Server Side Encryption の略で、
サーバ側で暗号化・復号化を行う暗号化方式です。
s3のSSEには以下の3種類あります。– SSE-S3
– 暗号化のキーや管理をAWSで管理
– SSE-KMS
– 暗号化のキーをKMSで管理
– 暗号化キーの権限を設定することができる
– SSE-C
– ユーザが用意したキーでの暗号化
– キーを自分で管理しないといけない### s3での設定方法
バケットを作成する箇所で、以下の設定を行うことができる
![1S3 bucket – Google Chrome 2021-08-16 21.05.25.p
AWS認定セキュリティ – 専門知識を受験した時の話
## この記事の概要
2021/08/15に
**AWS認定セキュリティ – 専門知識**
(AWS Certified Security – Specialty (SCS-C01))
を受験したので、その時の記録## 試験の概要
![aws_scs.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/140013/8bb55532-d5a6-bc1b-d401-5e1fb0330a82.png)
AWSを利用する上でのセキュリティに的を絞った試験です。
「セキュリティロールを遂行する人を対象としており、AWS プラットフォームのセキュリティ保護についての理解度を評価するものです。」
AWS公式より引用:[引用元](https://d1.awsstatic.com/ja_JP/training-and-certification/docs-security-spec/AWS-Certified-Security-Specialty_Exam-Guide.pdf)**◼︎ 試験要項**
問題数
Amazon Workspacesにログイン・ログアウトしたユーザー情報を記録したい
Amazon Workspacesにどのユーザーが何時にログイン及びログアウトしたかの記録がCloudWatchメトリクスとしてしか分からなかったのでもう少し分かりやすくファイル形式で出力できたらいいなと思ったのでやってみました。
#使うサービス
・Amazon WorkSpaces
・Lambda関数2つ
・Lambda用のIAMロール
・Dynamo DB
・S3
・CloudWatch#構成図
![図1.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1749180/b556ffcc-7dd3-943a-ee66-4ec3454c92e5.png)UserConnectedメトリクスがWorkSpacesにログイン・ログオフするときのデータを01で記録してくれるのでこの情報をLambdaで取得してDBに保存しておいて一日の終わりにCSVファイルとして出力する流れです。
※メトリクスが5分おきにしか出力されないため、実際のログイン・ログオフ時の時間と取得するときの時間が最大で5分程ずれる場合
40 代おっさん 冗長性のあるブログを構築してみた ③
## 本記事について
本記事は AWS 初学者の私が学習していく中でわからない単語や概要をなるべくわかりやすい様にまとめたものです。
もし誤りなどありましたらコメントにてお知らせいただけるとありがたいです。前々回の記事
前回の記事
## 最終作成図
![RDSEC2冗長性.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/641940/97ae5dbd-5c07-57be-91be-4a68a0d529d2.png)
## RDSのサイトアドレスをロードバランサーのDNS名に書き換える
WebServer1 または WebServer2にSShでログインしてください
rootユーザーになってcdコマンドでhtmlディレクトリに移動してください
“`shell
mysql
何となくわかった気になる週刊AWS – 2021/8/2週
## はじめに
こんにちは、なじむです。
今週もやっていきましょう AWS Japan さんがまとめている[週刊AWS](https://aws.amazon.com/jp/blogs/news/tag/%E9%80%B1%E5%88%8Aaws/)で確認した内容の自分用メモ。勝負の3週間目です。これを乗り越えれば習慣化されると信じたい。
今回は[8/2週](https://aws.amazon.com/jp/blogs/news/aws-weekly-20210802/)のアップデートです。## 8/2(月)
### [Amazon Redshift が認証プロファイルで JDBC/ODBC の使用を簡素化](https://aws.amazon.com/jp/about-aws/whats-new/2021/08/amazon-redshift-simplifies-use-jdbc-odbc-authentication-profile/)
DWH のマネージドサービスである Redshift に JDBC, ODBC, pythonドライバーで接続する際、認証情報をク
zabbixエージェントをインストールしてサーバーとホストで通信する
# zabbix agentをインストール
前回zabbix serverインストールまで終わったので今回はzabbix agentインストールをやっていこうと思います。前提条件
awsのインスタンスを使っています。
Red Hat Enterprise Linux
RHEL-8.4.0
t2.micro
10G
teratermでssh接続。鍵認証で入っています。
→鍵はインスタンスを作る時に作ってダウンロードしました。→前回やったこと
zabbixサーバーをインストールしました。##今回やること
監視対象となるエージェントのサーバーを新しく作る。
→1. インスタンスがもう一個必要。
→2. そこにzabbixエージェントを入れて監視できるように設定。
→3. zabbix_get コマンドでホストとサーバーの通信を確認。ここで今回やりたいことを図解してみようと思います
![image.png](https://qiita-image-store.s3.ap-nor
【AWS】AWS Lambda
#はじめに
AWS認定試験取得に向けてAWSの知識を整理するためのまとめです。
今回はAWS Lambdaについてまとめます。#Lambdaとは
なんらかイベントが発生したときに、ユーザが設定したコードを実行し、
コードを実行する基盤はAWS側で管理するサーバレスコンピューティングなサービスです。
Lambdaで実行するコードは「Lambda 関数」と呼ばれます。#Lambdaの特徴
EC2と比べると自由度は落ちますが、インフラ周りの構成、管理はAWS側の負担となるので、
その分コードを書くことに注力できます。## 基本設定
###メモリ
64MBごとに128MB〜10,240MBの間で設定可能です。
容量に応じてCPU能力なども比例します。###実行時間
900秒(15分)が最大実行時間です。
タイムアウト時間は1秒から15分の間で任意に設定できます。###スケール
利用者側でスケーリングの設定は必要なく、
リクエスト数に応じて自動的にスケールします。## サポートされている言語
Python、Node.js、C#、Go、Java,Ruby、PowerShe
Terraformで仮想ネットワークを構築
##概要
TerraformでAWSの仮想ネットワーク構築手順をまとめました。
Terraformのインストールから簡単なEC2インスタンス構築までは下記の記事でまとめています。
こちら: [Terraformを使ってEC2インスタンス構築](https://qiita.com/ramunauna/items/57bd4235b89c059b296f)##目次
1. VPCを作成
1. パブリックサブネットを作成
– サブネットを作成
– インターネットゲートウェイを作成
– ルートテーブルを作成
– サブネットへの関連付け
1. プライベートサブネットを作成
– サブネットを作成
– Elastic IPの割り当て / NATゲートウェイを作成
– ルートテーブルを作成
– サブネットへの関連付け##構成図
今回の構成図はこちら。
![AWS_Network.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1813991/d4b647cd-
AWS Amplify(Cognito)でAuthエラーが出た(AuthError – Error: Amplify has not been configured correctly. )
# 何が起きたか
AWS Cognitoで作ったユーザープールで認証認可機能を提供するReactアプリで、フロントにおいてAWS Amplifyのパッケージを利用してAuth機能を行なっていました。
実際に作ってるアプリは以下です。
[[個人開発]誰かの人生の1ページを覗けるアプリをGo&Reactでサーバーレスに開発]
(https://qiita.com/tenshinhan_yamucha/items/e2e331515c3a64f34f5f)(AWS cognito × Reactの実装自体は以下の記事を参考にしました。)
https://zenn.dev/tatsurom/articles/b6e5fc200035a0ef9467
この時、なぜか急に
“`
AuthError –
Error: Amplify has not been configured correctly.
The configuration object is missing required auth properties.
Amazon GuardDutyを各リージョンで一括 有効/停止/削除
# 一括有効化
“`sh
for REGION in `aws ec2 describe-regions | jq -r “.Regions[] | .RegionName”`; do
aws –region ${REGION} guardduty create-detector –enable
done
“`# 一括停止
“`sh
for REGION in `aws ec2 describe-regions | jq -r “.Regions[] | .RegionName”`; do
DETECTOR=`aws –region ${REGION} guardduty list-detectors | jq -r “.DetectorIds | .[]”`
aws –region ${REGION} guardduty update-detector –detector-id ${DETECTOR} –no-enable
done
“`# 一括削除
“`sh
for REGION in `aws ec2 describe-regions |
【AWS】amplify CLIの用意
# はじめに
AWSでお仕事?をしていて、amplify というのを用意する必要があったのでメモ。
amplify command line interface (CLI)は、AWS cloud service をアプリケーションで使うためのツールだそうです。何でも、作業しているproject のフォルダで“`
$ amplify init
“`とやると、設定が行われ、CUIでいろいろきるようになるのだとか。自分は、これで作業中のproject で “`amplify init“` できたところまでしかできていませんが、メモ。^^*
https://docs.amplify.aws/cli/start/install
このGet started の install の流れです。
– インストール
– “`amplify configure“`するだけ。
# インストールとアカウント設定
## インストールのための準備
(1) Node.js version 12.0 以上、npm v 6.x 以上とあるが、自分はNode.js が古いことが判明
LambdaのProvisioned Concurrency とは
## 勉強前イメージ
並列数を上げる?
## 調査
### Provisioned Concurrency とは
2019年に発表された機能で、
初期化処理が完了したlambdaの環境をプロビジョニングしておくことが出来ます。
要するにすぐに使えるようなlambdaの環境を用意しておくことができる、ということです。
lambdaのコールドスタート(HWが初期化された状態の再起動)対策として他にも方法が取られていましたが、
この機能で簡単に対策を行うことが出来ます。lambdaでリクエストが大量に来たとき、
同時実行数に関わらず、バースト制限までしか最初の段階は増えないのです。
例えば同時実行数が3000で、バースト制限が1000だとしたら
一気にアクセス来た際は1000までしか最初は増えないということです。
その後の同時実行数はすぐには増えず1分間に500ずつ増えていきます。
その際の一定量環境を用意しておくという対策が、Provisioned Concurrencyになります。### 費用
Provisioned Concurrency には費用がかかり、
東京リー
AWS認定クラウドプラクティショナー勉強日記
# はじめに
業務でAWSを使うようになり、AWSの基礎を体系的・包括的に理解したいなと思い、AWS認定試験のクラウドプラクティショナーに挑戦しようと思いました。
# AWS認定試験の全体像
* [AWS認定試験の概要](https://qiita.com/kazutxt/items/dce1c5df12d5ab27020a)# プラクティショナーの試験概要
* 問題数は65問
* 試験時間は90分
* 合格スコアは100-1000のスコアで700以上(≒正解率70%前後)
* 試験料は11,000円
* 試験範囲
* クラウドの概念:28%
* セキュリティ:24%
* テクノロジー:36%
* 請求と料金:12%# 受験前のステータス
現時点でのスキル・知識を整理
* ICT及びプログラミングのある程度ある
* SIerで10年ぐらいの実務経験
* 情報処理技術者試験で高度試験(ITアーキテクト/NWスペシャリスト/安全確保支援士など)をいくつか保有
* 複数のプログラミング言語(Node/Java/Pytho