AWS関連のことを調べてみた2021年07月16日

AWS Application Discovery Serviceについて

# AWS Application Discovery Service とは オンプレミスサーバ(EC2 含む)の情報を取得することができるサービスです。 最終目的としては AWS 上にサーバを移行することですが、サーバにクライアントをインストールもしくは AWS Application Discovery Agentless Connector を VMware vCenter の OVA としてインストールすることで簡単に情報が取得できます。 今回は現状の分析としても活用できるかなと思い、試してみます。 以下公式説明文 > AWS Application Discovery Service では、オンプレミスデータセンターに関する情報を収集することにより、エンタープライズのお客様の移行プロジェクト計画を支援しています。
> データセンター移行計画には何千ものワークロードが存在し、多くの場合それらが相互に深く依存しあっています。サーバーの使用率データや依存関係のマッピングは、移行プロセス初期の重要なステップです。AWS Application Discovery Se

AWS Resource Access Manager について

# AWS Resource Access Managerとは AWS Resource Access Manager(以下 RAM)とは、AWS の異なるアカウント間でリソースの共有が行えるサービスです。複数アカウントを運用している場合、RAM を使用することで容易にリソースの共有を行うことができます。 以下公式説明文 > AWS Resource Access Manager (RAM) は、組織内の AWS アカウント間または AWS Organizations 内の組織単位 (OU) 間で、ならびにサポートされているリソースタイプの IAM ロールおよび IAM ユーザーとの間で、リソースを安全に共有するのに役立ちます。AWS RAM を使用して、トランジットゲートウェイ、サブネット、AWS License Manager ライセンス設定、Amazon Route 53 Resolver ルール、およびその他のリソースタイプを共有できます。 > 多くの組織では、管理や請求の分離を行い、エラーの影響を制限するために複数のアカウントを使用しています。AWS RAM を使用す

lambda × SNS クロスアカウント設定

# SNSアクセスポリシー [](https://gyazo.com/837a912afea6933829cb482d21a419b5) # lambda IAMロール [](https://gyazo.com/935c49b996f5b1b1eefe13bb9acc3a7c) # lambda作成 [](https://gyazo.com/d0769f94b473f9bba3a41613b67519d0) # lambdaコード [![Image from Gyazo](https://i.gyazo.com/4d182a9

Amazon RDS Performance Insights とは

## 勉強前イメージ アクセス量とかをグラフで見れるようにするやつ？ ## 調査 ### Amazon RDS Performance Insights とは データベース負荷のモニタリングを行う機能で グラフなどでDBの負荷状況を確認できたり、SQLのクエリが見えるので問題が起こった際に調査がしやすいという点があります。 費用については7日分の履歴は無料で見れますが、それ以降は有料になります。 最長で2年データを保持することが可能です。 ### Performance Insights の確認方法 RDS > データベース > モニタリング の 以下のモニタリングをクリック、 パフォーマンスインサイトがあるので こちらから確認することが出来ます。 今回手持ちの適当なRDSで見たら設定してなかったので見れなかったですが、 設定したら下記の画像が黒文字になります。 ![1RDS Management Console – Google Chrome 2021-07-14.png](https://qiita-image-store.s3.ap-northeast-1.ama

【AWS】Draw.io + VScodeでAWS構成図を書く

## きっかけ 最近、プリセールスを手伝うことが多く、そのため、アプリアーキテクチャ、インフラ構成図をよく書いています。 まずExcelで作成して、レビューOKになったものを提案書用にPPTに修正して、、、という二度手間が発生していたので、同じ形式できれいに作れないかと検索した結果、Draw.ioに行きつきました。 ## 前提 – VSCOdeインストール済み ## 構築手順 1. Draw.io Integrationプラグインの導入 1. 構成図作成 1. ファイル出力 ## 1.Draw.io Integrationプラグインの導入 – 以下リンクでInstallを押下するか、VSCodeのプラグイン検索で”Draw.io”で検索するかでDraw.io Integrationのインストールを実施する。 (インストール後、VSCodeの再起動を推奨) https://marketplace.visualstudio.com/items?itemName=hediet.vscode-drawio ![スクリーンショット 2021-07-15 214144.png](http

【AWS】Node.js 14.xを使って、Lambda関数から他のLambda関数を呼び出す

## きっかけ とある案件の要件確認MTGをしているときに、 僕:「LambdaAを動かすために定期的にLambdaBを動かす構成」 ?:「LambdaBを定期実行ではなく、条件を満たしていない時だけ動かしたい」 みたいな話があり、そういやLambdaから他のLambdaを動かす方法ってどうやるのか？という疑問から ※ そもそもLambdaから他のLambdaを呼び出すことに抵抗があり、できれば定期実行を軸に進めたいのは本音。フェイルセーフ的な位置づけでロジック自体は実装することになりそうとの考察。(基本は定期実行。なんらかの問題で条件を満たさない場合があればLambda呼び出し実行。) Best Practiceに沿った内容があればコメントください。。。 ## 前提 – AWS: 社用アカウント利用 ## Summary – 呼び出す側Lambda関数で、AWS-SDKのインポート、AWS-SDK.Lambdaのインスタンス化、Lambdaインスタンスでinvoke関数の実行 – 呼び出す側Lambda関数のIAMポリシーに “lambda:InvokeFunction”を許可す

DynamoDBのオペレーションとプレースホルダーについて

##　はじめに 　こんばんは！今回はDVA対策で勉強しているときに出てきたDynamoDBのAPIとプレースホルダー、についてまとめてみました。 　試験で出てくるかは別として、業務で使うことも今後あると仮定して記事にしてきたいと思います！！！ 　よろしくお願いします(｡･ω･)ﾉﾞ ##　DynamoDBのCRUD処理 　Amazon DynamoDBでは、項目は属性の集まりです。各属性には名前と値がありまる。属性値は**スカラー値、セット型、ドキュメント型**のいずれかになります。 　DynamoDB は、**作成、読み込み、更新、削除 (CRUD)** の 4 つの基本的なオペレーション機能を提供します。 ◆DynamoDBのCRUD 　　・**PutItem** ：作成 　　・**GetItem** ：読み込み 　　・**updateItem** ：更新 　　・**DeleteItem** ：削除 この４つ以外にも下記のオペレーションがあります ##　Batch 　大量のデータの書き込みや読み込みをまとめて行うときにPutItemやGetItemによる

ALBでのCookieによる振り分け設定

#まず始めに この記事はAWSのALBでのCookieによる振り分け設定をまとめたものです。 　 #ALB(Application Load Balancer)の振り分け 基本的な説明は省略します。(こちらを[参照](https://docs.aws.amazon.com/ja_jp/elasticloadbalancing/latest/application/introduction.html)ください。) まずAWSでのLB作成の際には主に以下の種類があります。 ・**ALB(Application Load Balancer)** 　…HTTP,HTTPSのトラフィックをリクエストレベルで動作し、高度なルーティング設定が可能です。 ・**NLB(Network Load Balancer)** 　…大規模なTLSオフロードやアプリケーションの性的IPが必要な場合に、 　　　接続レベルで動作し、低いレイテンシーで大量のリクエストを処理できます。 ・**GLB(Gateway Load Balancer)** 　…ファイアウォール、侵入検知・防止システムなどの仮想ア

ECSのコンテナ内のディレクトリを、ローカルにコピーする

AWSのECSで、「コンテナ内の特定ディレクトリをローカルに落としたい！」という機会があったので書いときます。 – sshをして、 – ssh先にコピーをして、 – ローカルに落とす。 そんな手順でやればできますね。 ## sshログイン “` $ ssh -i <キーのある場所>/<キーの名前> <インスタンスのユーザー名(ec2-userとか)>@ “` セキュリティグループでsshの設定をし忘れてると、Connection timed outになりますね。 ## dockerからssh先にコピー ssh先で “` $ docker ps $ pwd $ docker cp : “` docker cpコマンドはファイルでもディレクトリでもオプションなしで問題ないです。 ## ssh先からローカルに落としてくるコマンド ローカル環境で “` $ scp -i <キーのある場所>/<キー

AWS EC2のインスタンスにPrimeHub CEをインストール

## はじめ PrimeHub CEは環境によって様々なインストール方法がありますので、今回はAWS EC2のインスタンスにシングルノードMicroK8Sでインストールをします。 ## AWS EC2インスタンスの準備 + インスタンス：`t3a.xlarge (4vCPU/16 GiB)` (これ以上を推奨します)  + AMI：`Ubuntu Server 18.04 LTS` (Ubuntu 20.04 LTSのサポートはしません)  + Secu

AWSの自動デプロイ設定を行ったら、画像が表示されなくなった(Railsアプリ)

##はじめに オリジナルアプリの完成が近づいてきました。もっともっと盛り込みたい機能が山ほどあるのですが、転職活動のほうも疎かにできないので、とりあえずAWSにはデプロイしようということで作業を進めていました。 AWSにデプロイするにあたって、アプリの改修などをした際に、結構たくさんのコマンドを打たなければならなくて、大変なので自動デプロイを導入しました。 Capistranoという自動デプロイツールを使って導入したのですが、完成後、手動デプロイしていた時にはしっかり表示されていたアプリ内で使われている画像たちが表示されなくなってしまいました。 ~~明確な理由はわからないまま、自分なりに仮説を立てて解決できましたので記事に残しておきます。~~ よろしくお願いします。 ##画像が表示されなくなった 私の画像は“`app/assets/images“`の配下に置いていて、img_tagで呼び出していました。 手動でデプロイを行なっていた時は、ちゃんと呼び出されていたのですが、自動デプロイをした後に小さな画像が壊れたようなマークだけが表示されて、目的の画像が表示されていなくなり

RedshiftのCOPYコマンド実行中の特殊ケースにおける挙動

## 概要 S3上にあるParquetファイルをRedshift内部テーブルへインポートするためCOPYコマンドを実行。データ量が多く、COPYコマンド完了までに数時間かかった。その間、別のバッチが動き、COPYコマンド実行中のS3パスに対してのデータ出力とCOPYコマンド実行が走ってしまった。その際の挙動について記載します。 (2021/07/15時点の内容です。) ## ケース S3上にあるParquetファイルをRedshift内部テーブルへインポートするためCOPYコマンドを実行。（データ量が多く、完了に数時間かかる） 上記実行中に別のデータ処理バッチが動き以下のヤバそうな処理が実行される。（上記実行開始してから数分後です） (1)上記COPYコマンドのFROM句に指定しているS3パス配下にParquetファイルを出力（Unloadコマンドによる） (2)さらに(1)で出力されたファイルをRedshift内部テーブルへインポートするCOPYコマンドを実行（対象テーブルは上記COPYコマンドと同一） ## 挙動 まず(2)については、処理が開始されない（エラー終了するわ

AWSCLI で S3 オブジェクトをダウンロードしようとしたら AccessDenied で困った

# 目的 S3の特定オブジェクトをAWSCLIでEC2のローカルにダウンロードしたい。 # 発生事象 以下ローカルへのダウンロードコマンドを実行するとAccessDeniedエラー “` $ aws s3 cp s3://sourcebucket/object.jpg ./ download failed: s3://sourcebucket/object.jpg to ./object.jpg An error occurred (AccessDenied) when calling the GetObject operation: Access Denied “` バケットポリシーとIAMロールの権限周りを確認するが、実行可能な権限設定に見える。 事実、GetObjectと同様に設定したListBucket権限の以下コマンドを実行すると正常に機能 する。 “` $ aws s3 ls s3://sourcebucket/ 2021-07-13 10:56:40 8574 object.jpg “` # 原因と対処 S3バケットのデフォルト暗号化の有効（KMS

みんながよく使うawsリソースとは？【2021年上半期】

webエンジニアならAWSは必須ですね。 最近は、サーバーレスも定着してきて、これまでのEC2メインでもなくなってきたので、勝手ランキングを発表！ （2021年上半期版） これからのwebサービス開発の参考にしてください。 # 人気awsリソースランキング　4位～10位 第 **4** 位 **Lambda** 軽いちょっとした処理は、lambdaにして呼び出すのが便利ですね。 もう自前ライブラリを構築する必要はなくなりました。 [AWS Lambda 料金](https://aws.amazon.com/jp/lambda/pricing/) 第 **5** 位 **DyanmoDB** NoSQL便利！しかも、速い！スケーラビリティ！ RDB思想からの脱却に苦労するかもしれませんが、価値はかなり高いです。 [Amazon DynamoDB 料金](https://aws.amazon.com/jp/dynamodb/pricing/) 第 **6** 位 **API Gateway** サーバーを立てて、APIキー認証をしっかり作って、バージョンを管理して、から脱却

AWS CloudTrailとは？

エンタメ系企業の社内もろもろを担当しているakibinです。 最近はレノン・ステラって人の[Summer Feelings](https://open.spotify.com/track/49dFIRQCQxPWgoH0m38XQ5?si=4eee8ccee91e4f96)にハマってます。夏だよね〜 # やったこと CloudTrailとは？の備忘録です。 # CloudTrailとは CloudTrailはAWSの管理コンソールやCLI、SDKなどでどのような操作が行われたか記録するサービスです。 いつ、誰が、何をしたかを記録、確認ができます。 # ログの種類 取得されるログは大別すると以下3つです。 #### 管理イベント EC2インスタンスの作成・操作や、S3バケットの作成、IAMの操作などAWSリソース操作全般 デフォルトで有効で、90日間まで無料で記録される。 #### データイベント S3バケットのデータ操作、Lambda関数の実行などデータ関連のイベント。 データイベント記録は有料。イベントが発生した分だけ料金が発生。 #### インサイトイベント 管理イベン

StepFunctionsを使っていて, まだLambda経由でリソース操作していませんか?

# はじめに 案外見るんですよね, こういった構成.  しかし, StepFunctionsは直接リソース操作できる対象が多くあります. ここではDynamoDBだけ紹介しますが, ほかも使い方は似たようなものなのでWorkflow Studioを開いて確認してください. ## DynamoDBに対してできる操作 * GetItem * PutItem * UpdateItem * DeleteItem いずれも1項目を操作する系です. もし複数項目の更新等が必要な場合, Mapを使うと良いです. ![スクリーンショット 2021-07-15 103304.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1765956/c2f

【AWS】PowerShell を使ってフォルダごと S3 にコピーする

# 概要 – PowerShell から AWS CLI コマンドでコピーを実行する。 # 機能 ## S3 保存処理 (SaveToS3.ps1) ### メイン処理 コピー元、保存先が記載されている CSV ファイルを読み込み、取得した列情報を元に件数分の処理 [S3 フォルダコピー] を実行します。 #### パラメーター | No. | 変数名 | 型 | 説明 | | :–: | —— | ———— | ———————— | | 1 | csv | ファイル情報 | csv ファイルを指定する。 | #### 戻り値 ##### 整数型 – 処理が正常に終了した場合、リターンコードとして 0 を返す。 – 処理に失敗した際は、エラー番号をリターンコードとして返す。 #### CSV ファイル構成 csv ファイルの列構成は以下の通り。 | No. | 列名 | 説明

RDS Proxyとは？

## 勉強前イメージ RDSに接続する際のプロキシ？ ## 調査 ### RDS Proxyとは？ 接続元と接続先のRDSの間に設置し、アクセスを中継するサービスになります。 フルマネージド型のデータベースプロキシになります。 設定はRDSのProxiesから設定が出来ます。  ユースケースとしてはlambdaでサーバレスなシステムを構築する際に lambda + RDSだと同時接続数を超えてしまいアクセスできない状態になります。 このときに lambda + RDS proxy + RDS構成でコネクションのプーリングなどを行います。 ### RDS Proxyを特徴 – 接続プーリング RDSの接続プールを管理し、アプリケーションから

オンプレ実務経験しかない私がAWS認定クラウドアーキテクト アソシエイト資格に合格した話

# 受験のきっかけ とあるSIerで６年間基幹システムのSEをしていたのですが、まあほとんどオンプレ経験しかなく過ごしてきました。 長年勤めた企業を退職し、プログラミング以外の上流・下流工程の経験が多かったので、 「自分も開発できるようになりたいな～」ということで巷で有名なAWS使ってみるか！と触ってみて、あまりの便利さに驚愕したのがAWSとの出会い。 * えっ、サーバーすぐ設定して立ち上がるやん！（EC2） * えっ、データベースインストールとかの作業いらんの？（RDS） * えっ、ロードバランサーとかインフラガチ勢しか出来ないと思ってた（ELB） 丁度スタートアップの起ち上げのお手伝いでAWSのクレジットがあったこともあり、体系的に学んでみようかと思い、今回受けてみました。 結果は合格！ 毎日１時間を３ヶ月、土日はプラス１～２時間というかんじで約１２０時間くらいでしょうか。 # 勉強法 色んな方が記事にしていたり、知人に聞いても評判だった勉強法がこちら。 Udemyの「これだけでOK！ AWS 認定ソリューションアーキテクト – アソシエイト試験突破講座（SAA-C02試験

【Amazon SES】メールが届かない！suppression listから削除する

はじめに

　Amazon SESでメールを送信してもメールが届かないケースの中で送信先のメールアドレスがsuppression listに登録されている場合がある。
　その場合はsuppression listから削除する必要があるので、そのやり方について紹介します。

この記事は[ブログ](https://www.unagino-nedoko.com/aws/suppresion-list)でも公開しています。

suppression List

　suppression listとはメールが到達できないアドレスに何