AWS関連のことを調べてみた2021年07月15日

【AWS】PowerShell を使ってフォルダごと S3 にコピーする

# 概要 – PowerShell から AWS CLI コマンドでコピーを実行する。 # 機能 ## S3 保存処理 (SaveToS3.ps1) ### メイン処理 コピー元、保存先が記載されている CSV ファイルを読み込み、取得した列情報を元に件数分の処理 [S3 フォルダコピー] を実行します。 #### パラメーター | No. | 変数名 | 型 | 説明 | | :–: | —— | ———— | ———————— | | 1 | csv | ファイル情報 | csv ファイルを指定する。 | #### 戻り値 ##### 整数型 – 処理が正常に終了した場合、リターンコードとして 0 を返す。 – 処理に失敗した際は、エラー番号をリターンコードとして返す。 #### CSV ファイル構成 csv ファイルの列構成は以下の通り。 | No. | 列名 | 説明

RDS Proxyとは？

## 勉強前イメージ RDSに接続する際のプロキシ？ ## 調査 ### RDS Proxyとは？ 接続元と接続先のRDSの間に設置し、アクセスを中継するサービスになります。 フルマネージド型のデータベースプロキシになります。 設定はRDSのProxiesから設定が出来ます。  ユースケースとしてはlambdaでサーバレスなシステムを構築する際に lambda + RDSだと同時接続数を超えてしまいアクセスできない状態になります。 このときに lambda + RDS proxy + RDS構成でコネクションのプーリングなどを行います。 ### RDS Proxyを特徴 – 接続プーリング RDSの接続プールを管理し、アプリケーションから

オンプレ実務経験しかない私がAWS認定クラウドアーキテクト アソシエイト資格に合格した話

# 受験のきっかけ とあるSIerで６年間基幹システムのSEをしていたのですが、まあほとんどオンプレ経験しかなく過ごしてきました。 長年勤めた企業を退職し、プログラミング以外の上流・下流工程の経験が多かったので、 「自分も開発できるようになりたいな～」ということで巷で有名なAWS使ってみるか！と触ってみて、あまりの便利さに驚愕したのがAWSとの出会い。 * えっ、サーバーすぐ設定して立ち上がるやん！（EC2） * えっ、データベースインストールとかの作業いらんの？（RDS） * えっ、ロードバランサーとかインフラガチ勢しか出来ないと思ってた（ELB） 丁度スタートアップの起ち上げのお手伝いでAWSのクレジットがあったこともあり、体系的に学んでみようかと思い、今回受けてみました。 結果は合格！ 毎日１時間を３ヶ月、土日はプラス１～２時間というかんじで約１２０時間くらいでしょうか。 # 勉強法 色んな方が記事にしていたり、知人に聞いても評判だった勉強法がこちら。 Udemyの「これだけでOK！ AWS 認定ソリューションアーキテクト – アソシエイト試験突破講座（SAA-C02試験

【Amazon SES】メールが届かない！suppression listから削除する

はじめに

　Amazon SESでメールを送信してもメールが届かないケースの中で送信先のメールアドレスがsuppression listに登録されている場合がある。
　その場合はsuppression listから削除する必要があるので、そのやり方について紹介します。

この記事は[ブログ](https://www.unagino-nedoko.com/aws/suppresion-list)でも公開しています。

suppression List

　suppression listとはメールが到達できないアドレスに何

40 代おっさん ELBを勉強してみた

## 本記事について 本記事は AWS 初学者の私が学習していく中でわからない単語や概要をなるべくわかりやすい様にまとめたものです。 もし誤りなどありましたらコメントにてお知らせいただけるとありがたいです。 ## ELBの概要  上の図だとEC2が一台のため、単一障害点になります。 そのため例えば AZ 1c にもう一台EC2を置いたとします（下の図） そうするとまた違った問題点が起きます。  その問題点とは ・アクセスポイントが分かれてしまう（ユーザーから見るとアクセスポイントが２つにな

AWS超絶初心者がSESを使ってメール送受信やってみた

#前回のあらすじ SES使ってDynamoDBに登録したメールアドレス宛でメールを一斉送信することができたよ https://qiita.com/ostost/items/9ca90fd98393c631fbdc #今回やりたいこと ・独自ドメインを取得してみる ・送ったメールに「amazonses.com 経由」がついてしまうのがかっこ悪いから直す ・メール受信＋S3に保存を試してみる #独自ドメインを取得してみる 色々ググってみたけど、gmailとかの独自ドメインじゃないものは認証設定ができないぽいので、 独自ドメインを取得する。 本当はRoute53で発行しちゃえばよかったけど、とりあえず試しでやるのでお金が発生して、 そのまま使わずに忘れると嫌なので、無料でドメイン取得して、Route53に登録。 こちらの記事の通りにやればできる。 https://note.com/dafujii/n/n406f385651e2 #amazonses.com 経由にしない 同じ方が続き記事で、Route53でドメイン管理＋メール送信まで書いてくれていたので、 この通りに進める。

【Mac版】MySQLのログイン時に仮パスワードを知る方法

こんにちは、アキです。 今回はMySQLをインストールした時に仮パスワードがないと入れないとなった時の対処法を書いていきます。  brewで入れた時とは違う反応になりました。 ここで使ったのが”less”コマンドです。 どこかに仮パスワードのテキストがあると思ったからです。 ・lessコマンドとは？ 「less」は、テキストファイルを1画面ずつ表示するコマンドです。「less ファイル名」で実行する他、「コマンド | less」のように、別のコマンドの実行結果を1画面ずつ表示する場合にも使われます。 このコマンドを実行した時はテキストが大量に出てきますが、そのうちの一つに以下のテキストがあり、最後の文が仮パスワードとなります。 ![スクリーンショット 2021-07-14 18.54.4

CodeCommit APIのCreateCommitの動きが想定と違った話

# 概要 Lambda(python)で作成したファイルを、CodeCommit API(CreateCommit)を使ってリポジトリに追加(更新)しようとしたが上手くいかず、調べたらAPIの仕様が自分の想定と違ったので、備忘録としてその時の内容をまとめる。 # やりたかったこと S3にあるファイルをLambdaで編集して、編集したファイルをCodeCommitリポジトリに追加(更新)する。 ## 作成したLambda関数 “` s3 = boto3.resource(‘s3’) cc = boto3.client(‘codecommit’) def lambda_handler(event, context): bucket = s3.Bucket(‘<バケット名>‘) obj = bucket.Object(‘<オブジェクト名>‘) res_obj = obj.get() body= res_obj[‘Body’].read() 〜〜〜（編集処理）〜〜〜 res_branch = cc.get_branch(

【Node.js, TypeScript】LINE MessagingAPIで作った天気予報アプリをAWSのLambdaにデプロイしてみる！

先日、Node.jsとTypeScriptで天気予報アプリを作成しました。 https://qiita.com/Ryo9597/items/4c05b8b972ad7efc0c66 完成形としては以下の通りです。  この記事内では、`Glitch`でデプロイをしています。 まぁ無料なわけで色々問題があります。 ・プロジェクトは、利用されていないときは5分でスリープ状態になる ・4000件/1hのリクエスト制限がある(Error: 429 too many requests) ということで、AWSのLambdaを使ってデプロイすることにします。 それではアーキテクチャに関してみていきましょう。 ## サーバーレスアーキテクチャとは AWSにおけるサーバーレスとは、**「インスタンスベースの仮想サーバー（EC2など）を使わずにアプリケーション

AWS Control Tower を試してみた

## はじめに DX技術本部のyu-yamaです。 ちょっと前(2021/04)ですが、AWS Control Tower が東京リージョンで利用可能になりました。 https://aws.amazon.com/jp/blogs/news/aws-control-tower-tokyo/ これまで マルチアカウント管理には AWS Organizations を使用して… 組織(OU)作成して… SCP でポリシー制限して… と頑張っていましたが、このサービスを使用すると 簡単にベストプラクティスに沿ったマルチアカウント管理環境を作成できることが出来るそうです。 との事で試してみました。 ## 概念 はじめに AWS Control Tower を触るにあたり概念を押さえます  ### La

AWSでAIサービスを使ってみる〜④Transcribe編〜

##Amazon Transcribeとは 音声をテキストに変換するサービスです。言わば文字起こしのサービスです。以前まで日本語は対応しておりませんでしたが、昨年日本語も対応しました。それでは早速使ってみましょう。 ##音声ファイルをテキストに変換 テキストに変換する音声ファイルとして前回利用したwarabimochi.pyを利用します。 >また、Transcribeに入力する音声ファイルは、Transcribeからインターネット経由でアクセスできる必要があるため、Web上などにアップロードする必要があります。今回はAWSが提供するサービスの１つであるAWS S3を利用します。 今回のpythonファイルは次の手順で動作します。 ①音声ファイルを実行するファイル ②Transcribeの処理の実行 ③結果(JSONファイル)の取得 ④結果のテキストを表示する 今回コードは長編です。 “`scribe_file.py import boto3 import json import pprint import uuid import urllib #バケット作成 ##uui

自動デプロイでエラーが発生して、解決に至るまで（Capistrano)

## はじめに オリジナルアプリケーションのサーバをAWSのEC2に変更後、自動デプロイを実行中にエラーが発生しました。  解決に至るまでの手順を備忘録として記録します。 ## 環境 – Mac OS Catalina 10.15.7 – Ruby 2.6.5 – Rails 6.0.0 – MySQL2 0.5.3 ## 結論 sassを使用しているのに、cssファイルが削除されていなかったので、cssファイルのrgbを読み込んだことによるエラーで、 “`ruby:room.css .select { box-shadow: 0 1px 0 rgb(0 0 0 / 7%) inset; } “` この1行を削除することにより解決しました! ## 解決に至るまでの手順 – とりあえず検索。QiitaやGoogleで「自動デプロイ　エラー

ここ5年間でPHPを主体とした開発環境の流行を調べてみた

ここ5年間でPHPを主体とした開発環境で [【Google trends】](https://trends.google.co.jp/trends/?geo=JP)から日本・世界でどんなのがトレンドにあるのか気になったので調べて見ました。 2021年7月14日(水) 現在 毎年更新予定 #【インフラ・クラウド】 AWS/GCP/Heroku/Azure ##日本  ##世界  #【仮想環境】 docker/vagrant/vmware ##日本 ![仮想環境-japan.

AWS CloudFormationでNAT Gatewayを構築する

今回はCloudformationを利用したNAT Gatewayの作成のコード化について解説します。 #前提条件 – Windows10を使用。 – PCはDELLを使用。 – ファイルの拡張子は.ymlを使用。 – 東京リージョンを使用。 – アベイラビリティゾーンは1aと1cを使用。 #料金 テンプレート自体には料金は発生しないが、作成後のAWSリソースに関しては料金が発生しますのでご注意下さい。 NAT Gatewayは比較的高額なのでハンズオンのみの使用であれば即時に削除を推奨します。 #事前準備 – AWSアカウントを所持していること。 – Amazon VPCへのアクセス権限（書き込み・読み取り）を許可していること。 – AWS Cloudformationへのアクセス権限（書き込み・読み取り）を許可していること。 – VPCとプライベートサブネットが作成済みであること。 #構築内容 – 複数AZにNAT Gatewayを作成する。 – 任意のEIPを作成し、バブリックサブネット上に配置。 – プライベートサブネット用のルートテーブルにEIPを割り当てる。 –

【AWS】Windows EC2にアカウントのログオン失敗を検知し、メールにアラート通知をしました

#はじめに AWS の Windows EC2 に アカウントのログオン失敗を検知し、メールでアラーム通知をさせる手順を公開します。 システムセキュリティ監視の一環として、サーバログオン失敗の監視は欠かせないものですね。 #構成図 構成図は下記となります。 簡単に説明すると、 ① EC2 に CloudWatch Agentが実装済みであることが前提です。 なお、CloudWatch Agent で Windows のセキュリティログを CloudWatch Logs へ転送させることを事前に定義しておく必要があります。 ② SNSでトピックを作成し、メール宛先をサブスクリプション加入してもらいます。 ③ CloudWatch Logs 上で Windows Security ログをフィルターし、ログオン失敗時のエラーコードを検知したら、SNSでメールを発砲させます。 ![Untitled Diagram-Page-2.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/865613/720bd8dd-f

AWS Elastic Beanstalk で作成したWordPress環境で、カスタムパーマリンクを設定すると404になってしまう問題の解決（Nginx）

# 発生した問題 ## WordPressでカスタムパーマリンクを設定すると、記事ページなどが404になってしまう 「基本」であれば問題は無い。 しかし、カスタムパーマリンクに変更すると記事ページなどが404になってしまう。また、投稿ページでも一部JavaScriptファイルが404で読み込めないエラーが発生し、投稿、下書き保存などができなくなってしまう。   補足だが、ここで言う「カスタムパーマリンク」は「基本

AWSソリューションTag Tamerを実装してみた

# はじめに 　AWSのソリューションTag Tamerを実装します。 　Tag Tamerは、タグ付けに関するソリューションです。 　試した感じだと、習熟に多少の時間が必要そうです。 https://aws.amazon.com/jp/about-aws/whats-new/2021/06/new-aws-solutions-implementation-tag-tamer/ https://aws.amazon.com/jp/solutions/implementations/tag-tamer/ 　Tag Tamerはパブリック用とプライベート用がありますが、本記事はパブリックを選択しています。 　プライベート用はVPNまたはDirect Connectが必要なため、構築に時間とコストがかかってしまうからです。 　本記事では実装ガイド通りに行って、スムーズにいかなかったところだけ記載しています。 　公式実装ガイドと、以下のclassmethod様の記事を非常に参考にさせていただきました。 https://dev.classmethod.jp/articles/tag-

AWS超絶初心者がSESを使ってメールの一斉送信やってみた

筆者のレベル感は – AWSの構成図は読める、それぞれの機能の概要はなんとなく分かる – AWSでの実装経験はゼロ（システム開発経験もゼロ） なので、生暖かく見守ってください。 #やりたいこと リスト化されたメールアドレス宛に、対応する宛名を文面に盛り込んだメールを送りたい。 基本的には以下の記事を参考に実装。項目も引用させてもらっています。 https://dev.classmethod.jp/articles/bulk-email-ses-lambda/ #SESで送信元メールアドレスを登録 ここはうまくいった。方法はネットに溢れているので割愛 #DynamoDBでユーザーテーブルを作成 ？？？ userId(PK)とはなんぞや？？？プライマリキーということは分かったけど、 a06b7c45-1303-45bf-a2d7-fec53fbc224cとかが何を表しているのか分からないので、 いったん以下のように記載 | userId(PK) | name | emailAddress | |:-:|:-:|:-:| | 1|太郎 | test1@XXX

ec2-linux(cent)でdpkgできない場合の3行

“`bash $ sudo amazon-linux-extras install epel $ sudo yum repolist $ sudo yum -y install dpkg-devel dpkg-dev “` 1行目は「sudo yum install epel」と書きたいところですが、 歯を食いしばって「sudo amazon-linux-extras install epel」と書いてみましょう。

初学者がハマったLambda@Edgeの落とし穴たち

# 概要 私はAWS歴1年目のおじさんエンジニアです。当記事は、私が初めてLambda@Edgeを書くにあたってハマったポイントの備忘録です。 ご存じの方には今更な内容かと存じます。基本的には[公式ドキュメント](https://docs.aws.amazon.com/ja_jp/AmazonCloudFront/latest/DeveloperGuide/lambda-at-the-edge.html)に記載してあることばかりです。 なお、私の都合上、ランタイムはNode.js前提です。 # 落とし穴たち ## リージョンはus-east-1(バージニア北部)のみ これは皆さま最初に驚くポイントかと思いますが、Lambda@Edgeを設置できるリージョンは**us-east-1**のみです。 ## 環境変数が使えない Lambda@Edgeでは環境変数が使えません。私は今回扱いませんでしたが、どうしてもLambda@Edgeで機微情報を扱いたい場合には、SecretsManager等を参照する手段が一般的な様です。 ## メモリなどの制約が厳しい Lambda@E