AWS関連のことを調べてみた2021年10月11日

AWS関連のことを調べてみた2021年10月11日
目次

作業先のS3バケットがLambdaのトリガーとなっていないかを確認する方法

#背景
S3へのオブジェクト作成をトリガーを利用してLambdaを活用することは多いと思います。
そうすると、S3にファイルを作成する処理を書くときに

「あれ、このバケットのこの場所、トリガーになってないよね、、、?」

と思うことが出てきました。
さっと確認できると安心感も増すものです。

#解決方法

API レベル (s3api) コマンドにこれを満たす get-bucket-notification-configuration というものがあります。

参考:[API レベル (s3 api) コマンド](https://docs.aws.amazon.com/ja_jp/cli/latest/userguide/cli-services-s3-apicommands.html)

#具体的な方法
せっかくなので
・S3の条件(Prefixとか)
・S3のパス
・Lambda関数のARN

が1行で一覧で出力できるようなjqを書いてみました(あと一歩スマートな書き方があるかもです)

“`
aws s3api get-bucket-notification-config

元記事を表示

別AWSアカウントのEC2インスタンスをコピーする手順

別のAWSアカウントで作成されたEC2インスタンスを、自分のアカウントにコピーする機会があったので、手順を残しておきます。

# コピー元の作業
コピー元のAWSアカウントで、AWSマネジメントコンソールにログインします。

## イメージの作成
コピーしたいインスタンスを選択し、アクションから「イメージを作成」をクリックします。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/236222/36deab86-e8e3-0ce6-4403-98364eb2cf67.png)
任意のイメージ名を入力します。
このとき、サーバを止めたくなければ「再起動しない」にチェックを入れましょう。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/236222/486d0277-6ce7-ff0f-3b7f-32114c79f86e.png)
「イメージを作成」をクリックします。
![image.png](ht

元記事を表示

Athenaで基礎からしっかり入門 分析SQL(Pythonコード付き) #5

今まで複雑なデータ操作・分析などはPythonでやっており、SQLは普通のアプリ開発程度のライトなものしか触って来なかったのですが、やはり分析用の長いSQLなども書けた方がやりとり等で便利・・・という印象なので、復習も兼ねて記事にしておきます。

また、SQLに加えて検算も兼ねてPythonやPandasなどを使ったコードもSQLと併記していきます(Pythonで書くとどういった記述が該当するのかの比較用として使います)。

※長くなるのでいくつかの記事に分割します。本記事は5記事目となります。

# 他のシリーズ記事

※過去の記事で既に触れたものは本記事では触れません。

`#1`:

用語の説明・SELECT、WHERE、ORDER BY、LIMIT、AS、DISTINCT、基本的な集計関係(COUNTやAVGなど)、Athenaのパーティション、型、CAST、JOIN、UNION(INTERSECTなど含む)など。

https://qiita.com/simonritchie/items/0d84646e3db940e98b14

`#2`:

GROUP BY・HAVING

元記事を表示

看護師からインフラエンジニアに転職して2年で14個資格を取得した話

こんにちは。パエリア王子です。

2021年10月でインフラエンジニアになってからちょうど2年になりましたので、自分の振り返りを含め、取得した資格や経緯について書いていきたいと思います。

私は地方に住んでいますが、入社時からクラウドエンジニアになりたいと思いながら勉強を進めていました。
資格のおかげもあって、現在は**クラウドエンジニア**として働いています。

###資格取得の賛否について
エンジニア業界では資格より経験や実務という文化があります。
私もそう思います。
しかし、中には「資格だけ持っていてもなんの意味もない」という意見も聞かれますが、個人的には「持っていないよりは持っていたほうが良い」と思います。
確かに試験勉強だけでは仕事はできませんが、実務がないのであればせめて資格(取得によって得られる知識)くらいは持っていたほうがよい、と思うからです。
資格の中には模擬試験とほとんど同じ内容の試験で丸暗記だけで受かる試験もありますが、それでも何もしないよりはましですし、継続的に資格取得するだけでも勉強する意欲があることはアピー

元記事を表示

RDS Proxy のリーダーエンドポイントに IAM 認証が使えない

どうやら IAM 認証が使えるのはメインの Read/write エンドポイントだけみたいですね。
メインのエンドポイントとリーダーエンドポイントそれぞれで cli でトークンを作成して接続してみましたが、リーダーエンドポイントのときは次のエラーになりました。

“`
sql: FATAL: The IAM authentication failed for the role xxxxx. Check the IAM token for this role and try again.
“`

「token の作成にメインエンドポイントを指定して、接続先をリーダーエンドポイントにする」みたいなトリッキーな方法も試してみましたが変わらず。

### 参考記事

https://dev.classmethod.jp/articles/rds-proxy-adds-read-only-endpoints-for-amazon-aurora-replicas/

https://aws.amazon.com/jp/premiumsupport/knowledge-center/rds-p

元記事を表示

AWS SAA 試験対策メモ

抜け漏れがあった用語や概念の整理。
個人的なメモです。

## EC2
### Amazon Elastic Block Store (Amazon EBS)
EC2 インスタンスで使用するためのブロックレベルのストレージボリューム。
#### ソリッドステートドライブ (SSD)
– 汎用 SSD
– Provisioned IOPS SSD

#### ハードディスクドライブ (HDD)
– スループット最適化 HDD
– Cold HDD

https://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/ebs-volume-types.html

### リザーブドインスタンス
– 期限前のインスタンスをマーケットプレイスで販売できる

### 障害回復
– AMIを取得して別リージョンにコピー
– EBSだと、EC2の設定自体は復元できない

### ゴールデンイメージ
– 必要なソフトウェア等がインストールされた状態のAMIを用意しておく

### AMI
-スナップショットが含まれている

#

元記事を表示

Amazon DynamoDBの新しいコンソールに対する不満点

# はじめに
2021/8/25にAWS DynamoDBは新しいコンソール画面がデフォルトとなりました。
https://aws.amazon.com/jp/about-aws/whats-new/2021/08/amazon-dynamodb-console-manage-data-resources/

見た目は非常にシンプルで良いのですが、如何せん使い勝手が悪いというのが印象です。
これから改善されていくとは思いますが、不満点について残します。

※本不満は2021/10/7時点の元です。
 すでに解決されている可能性もありますので、ご注意ください。

# 新しいコンソールに対する不満
## クエリ/スキャンの結果がリセットされない
DynamoDBでレコードの確認をよくする際に、パーティションキーでクエリ検索することがよくあります。
新コンソールでは「実行する」「元に戻す」があるのですが、「元に戻す」で検索結果がリセットされません。

旧コンソールでは他のテーブルに異動した後に戻ると検索結果がリセットされますが、新コンソールではリセットされません。
新コンソールではDynam

元記事を表示

【AWS】EC2インスタンスのSSH接続時のタイムアウト問題の解決

#Operation timed out 発生

AWSで仮想サーバーであるEC2インスタンスを作成しました。
MACにターミナルでコマンドを打つ練習のため、SSHでネット接続を試みました。

![スクリーンショット 2021-10-10 2.55.36.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/638561/a7b3aa3a-1f3b-2865-6328-79d00d1e975b.png)
ところが、下記画像のように接続がタイムアウトと表示されてしまいます。
EC2がSSH接続ができていません?
何故ぇ?((((;゚Д゚)))))))
![スクリーンショット 2021-10-10 2.45.20.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/638561/dd27f25a-9115-f284-7a5e-9bf2108aef74.png)

#結論:原因はVPC
結論として、原因は自分のVPC環境に問題がありました

元記事を表示

[AWS Step Functions] EC2とRDS(Aurora)をグループ単位かつ指定した順番に起動/停止する

## はじめに

EC2とRDS(Aurora)を、グループ単位かつ指定した順番に起動/停止する仕組みを AWS Step FunctionsとLambda(Python 3.9)で作りました。

## もう少し詳しく

作成した StepFunctions ステートマシン の詳細を説明します。
以下のように複数のEC2,RDS(Aurora)がある場合に、タグを使いをグループ化と起動順序を設定します。
タグに必要な情報を設定し、起動したいグループと命令(起動命令 or 停止命令)を指定すると、順番に従いリソースを起動or 停止します。

具体的な設定例も含め説明します。以下図のような構成でEC2,RDS(Aurora)を作成します。


※図にはリソースごとのタグ情報を記載しています

各リソースにはこのようにタグを設定します。

元記事を表示

S3にアップした画像が表示されない

#はじめに#
[こちら](https://qiita.com/kt103/items/535dd1808083e61989c6)の記事でなんとかS3への画像アップロードを実装したものの、なぜか表示がされない・・・というエラーにぶつかりましたのでメモを残していきます。

#エラー内容#
 S3へのアップは問題なくできており、表示ができないというパターンです。
S3のバケットから保存されたファイルの詳細をみていきます。
オブジェクトURLをクリックするとこんな表示がされました。
![スクリーンショット 2021-10-10 12.30.56.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1558223/82506075-417f-f6b6-e573-b47033f107b5.png)
調べてみると、どうやら画像へのアクセス許可がされていないようです。解消するためにはバケットポリシーを編集していく必要があります。

#バケットポリシーの編集#
 バケット名をクリックして、アクセス許可のタブをクリックするとこん

元記事を表示

Laravel+Amazon S3 画像をアップする方法

#はじめに#
 Laravelでアプリを作ったのでHerokuで公開してホッとしたのも束の間、どうやらHerokuでは画像の保存ができないらしい・・・。
ということで今回はS3へ画像を保存する方法を取りたいと思います!
初心者の備忘録ですので、理解不足はご容赦ください。

#AWSアカウントの作成#
 [公式](https://aws.amazon.com/jp/register-flow/)を参考にアカウントを作成しましょう。その際、access keyとsecret access keyが発行されるのでメモっておきましょう。
忘れた場合は[こちら](https://docs.aws.amazon.com/ja_jp/powershell/latest/userguide/pstools-appendix-sign-up.html)を参考にしてみてください。

#S3のバケットを作る#
 [こちら](https://qiita.com/miriwo/items/41e488b79fb58fa7c952)を参考にバケットを作成してください。ここに画像ファイルが保存されていきます。
 そ

元記事を表示

Lambdaで取得した画像をKinesis及びFirehose経由でS3にアップロードする

Kinesisの動作確認のため、Lambdaから画像を流した時の個人メモ

[(参考)Lambdaで取得した画像をKinesis Firehose経由でS3にアップロードする](https://qiita.com/nkmk1215/items/42702818aa9f19fb56e1)
[(参考)Kinesis — Boto 3 Docs 1.9.96 documentation – Amazon AWS](https://boto3.amazonaws.com/v1/documentation/api/1.9.42/reference/services/kinesis.html#Kinesis.Client.put_record)

# Kinesis
– 「データストリームの作成」を押下

![000.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/242897/3f9faf87-1793-be88-f263-ecbec15cf79a.jpeg)

– シャード数は最小値として作成

![0

元記事を表示

何となくわかった気になる週刊AWS – 2021/9/27週

## はじめに

こんにちは、なじむです。
DAS の試験勉強を進めていますが、かなり順調に分からないということが分かり、気持ちの良い激痛を感じている今日この頃です。
というわけで今週も張り切ってやっていきましょう!AWS Japan さんがまとめている[週刊AWS](https://aws.amazon.com/jp/blogs/news/tag/%E9%80%B1%E5%88%8Aaws/)で確認した内容の自分用メモ。
今回は[9/27週](https://aws.amazon.com/jp/blogs/news/aws-weekly-20210927/)のアップデートです。

## 9/27(月)

### [Amazon Connect Wisdom の一般提供を開始](https://aws.amazon.com/jp/about-aws/whats-new/2021/09/amazon-connect-wisdom-generally-available/)

クラウド型コンタクトセンターを構築するサービスである Amazon Connect で、Amazon Connec

元記事を表示

cloudwatchの詳細モニタリングと拡張モニタリングの違い

## 勉強前イメージ

違いってなんだっけ・・・?
くっつけるとわからん

## 調査

### 詳細モニタリング とは

EC2のモニタリングタイプで、データ取得間隔を1分で取れるもの
詳細は [こちら](https://qiita.com/miyuki_samitani/items/b40dd5bcf9bb6628d4e4) を御覧ください

EC2の以下の設定変更で詳細モニタリングを有効化できます。

![1詳細モニタリングを有効化 _ EC2 Management Console – Google Chr.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/129517/c3d624b1-38f5-9023-b314-2984bae2408e.png)

### 拡張モニタリング とは

RDSのモニタリングのタイプで、RDSを動かしているOSのCPUやメモリ・ディスクIOなどのメトリクスを取ることができます。
詳細は [こちら](https://qiita.com/miyuki_samitani/

元記事を表示

ALBだけで特定URLへのリダイレクトを完結させる方法

AWS環境にてリダイレクトの設定をRoute53や、.htaccessを使わずに
ALBだけで完結させたかったのでメモ。サイトはSSL(https)化済。

リダイレクトはALBのリスナーから設定する。

###ALBでの設定
**①http**
こっちは**https**に飛ばす設定。リダイレクト先はデフォルト。

“`
デフォルトアクション リダイレクト先 https://#{host}:443/#{path}?#{query}
“`

**②https**
こっちは存在しないページに対して特定のURLに飛ばす設定。リダイレクト先を直書き。
今回はサブディレクトリのページに飛ばしたかったので、サブディレクトリを入れています。

“`
1 転送先 対象のインスタンス
デフォルトアクション リダイレクト先 https://ドメイン名:443/サブディレクトリ名/?
“`

サブディレクトリの場合、最後に「/」がないとダメ。入れないと、リダイレクトのループが発生する。
リダイレクトもブラウザでキャッシュしてしまうことがあるらしく、それを外したい場合はChromeだと、
検証→Ne

元記事を表示

Ruby on Jetsでサーバーレス

## これはなに?
普段からRubyを使っているのですが、バッチ主体のシステムを開発するにあたり安価にサーバーレスを使いたく、Ruby on Jetsを選択して半年ほど運用した上での共有です。

Ruby on Jets
https://rubyonjets.com/

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/7847/e1921bd1-85f0-0c6c-6fb8-12927a39d9a8.png)

## Ruby on Jetsの特徴
– Railsライク書いたコードでAWSのアーキテクチャを扱えるフレームワークです。
– これらのRailsに慣れた人なら見覚えのあるコマンド群が使える。

“`sh
jets new
jets generate scaffold
jets db:migrate
jets server
jets console
jets deploy
jets routes
jets call
jets status
jets url
jets delet

元記事を表示

AWS OpenSearch (Elasticsearch) Serviceで専用マスターノードは3つが推奨な理由を段階を踏んで理解する

# 前提

[AWS OpenSearch Service](https://docs.aws.amazon.com/opensearch-service/index.html)でサポートするElasticsearch 7.10.2時点までの内容になります。

# 理解のステップ

以下のステップにより専用マスターノードに関しては3つが推奨な理由が大体理解できる流れです。

0. マスターノードとは何か、他にどんなノードタイプがあるのかを把握する。
0. 専用マスターノードとは何か把握する。
0. quorumとは何か把握する。
0. 理想のquoram数を出す式が`dedicated master nodes / 2 + 1`の理由を把握する。
0. これまでマスター候補ノード(master-eligible node)はなぜ奇数

元記事を表示

AWS Certified Security – Specialty に合格しました

2021/10/09 に AWS Certified Security – Specialty 試験を受験して、無事に合格しました。試験対策とメモを残しておきます。
![aws-scs.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/780549/6ec30655-b03a-00e5-39a2-66bf1ca6f1c3.png)

## 対策
[要点整理から攻略する『AWS認定 セキュリティ-専門知識』](https://www.amazon.co.jp/%E8%A6%81%E7%82%B9%E6%95%B4%E7%90%86%E3%81%8B%E3%82%89%E6%94%BB%E7%95%A5%E3%81%99%E3%82%8B%E3%80%8EAWS%E8%AA%8D%E5%AE%9A-%E3%82%BB%E3%82%AD%E3%83%A5%E3%83%AA%E3%83%86%E3%82%A3-%E5%B0%82%E9%96%80%E7%9F%A5%E8%AD%98%E3%80%8F-Compass

元記事を表示

AWSクラウドプラクティショナー-合格体験記

##はじめに
2021年10月にAWSクラウドプラクティショナーを受験し、無事に合格しました。
私自身クラウドに関する勉強を始めたばかりですので、同じようにこれから勉強を始めようとされている方の参考になれば幸いです。

##クラウドプラクティショナーとは
そもそもこの資格が一体何なのか、AWSの公式サイトでは以下のように説明されています。

>この認定は、AWS クラウドに関する基本的な知識とスキルをお持ちの方を対象としており、AWS クラウドについての総合的な理解ができていることを証明する基礎レベルの認定資格です。出題範囲には、AWS の主なサービスや料金、サポートに関する内容を含みます。技術者だけでなく、マネージメントやマーケティング等、AWS に関わるすべての方に理解いただきたい内容です。

AWSの11個ある試験の中で入門編の資格です。各種サービスの概要など基礎的な内容の試験のため、業務未経験者や非エンジニアの方などにも広く受験されています。今からクラウドの勉強を始める方にちょうど良いレベルだと思います。

##勉強教材
書籍
[AWS認定資格試験テキスト AWS認定 クラウド

元記事を表示

AWS 認定ソリューションアーキテクト – アソシエイト (SAA-C02) 合格体験記

#0. はじめに

題目の通り、2021年6月19日にソリューションアーキテクト-アソシエイトに1発合格しました。
4ヶ月前なのですが、記録を残しておこうと思ったため執筆することにしました。
というのも実は本日2021年10月9日、SOA-C02に合格しました。ということでこれから全ての合格体験記とともにこれから受験する方に情報を共有できたらと思ったのですよね。(SOAについては後日別記事にて…)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1667352/3e43424a-69e7-83fd-22d6-8c1a6c685872.png)
スコアは777点!なんと縁起がいい!

#1. 受験動機、自分の経歴
私は今年で2年目のSEです。ほぼ無経験で入社し1年目からリモートワークだったためなかなか仕事を覚えるのも難しく苦労しています。

自分が参加しているプロジェクトのワークロードでAWSを使用していたため、興味を持ちました。1年目の当時はそもそもAWSとは何ぞやというところからで

元記事を表示

OTHERカテゴリの最新記事