AWS関連のことを調べてみた2022年10月30日

AlteryxでAmazon Auroraと接続

# はじめに Alteryxで、色々なデータソースとつないでみています。 https://qiita.com/a_b_/items/4c58e6bf7f4761273b36 https://qiita.com/a_b_/items/7c9243b5aa9ab6c7bbc2 https://qiita.com/a_b_/items/83e900dcd4dd89a270b7 今回はAWSのAmazon Auroraと接続してみました。 Alteryx上ではAuroraは他データソースと別扱いになっていますが、前回のRDSと変わらない使用感でした。 # Amazon Aurora ## 環境構築 ### VPC 前回のRDSと同じものを使います。 https://qiita.com/a_b_/items/83e900dcd4dd89a270b7 ### 作成 標準作成を選択。 ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/553680/81650f8b-f17c-9cb3-6

CDK Pipelines でマルチアカウント CI/CD をやってみた (AWS CDK v2)

# はじめに [前回の記事](https://qiita.com/sugimount-a/items/3c1bd1a47c37f3fe3425)では、CDK v2 を使って単一の AWS アカウントにデプロイする方法を確認しました。今回の記事では、CDK Pipeline を使って複数の AWS アカウントに対して CI/CD パイプラインを構成する方法を整理していきます。 前回は、手動で cdk コマンドを実行することでデプロイを行いました。この方法は開発するエンジニアが少ないうちは問題ないと思いますが、人数が多くなってくると運用が難しくなります。cdk を使ったデプロイを同時に行うことはできないので、特定の人が特定の環境でコマンド実行することになります。この問題点は、特定の人がボトルネックになりデプロイのスピードが落ちること、また、環境が壊れたときの復旧が面倒なことが挙げられます。 そこで、Git をつかった CI/CD を使って解決しようというのが、今回の記事の内容です。CDK Pipeline を使うことで、CDK の CI/CD パイプラインを比較的簡単に構築が出来ます

AWS Glue Data Catalog を理解する

# AWS Glue Data Catalog を理解するために 初めてクラウドサービスを使用する&初めてAWS Glue で ETL 処理のジョブを作って色々やってみようとするとき、不意に登場するのが　AWS Glue Data Catalog ではないだろうか。 **「何のために Data Catalog は存在するのだ？」** **「Data Catalog はなくても ETL できるんじゃないの？」** こんな思いをした皆さんにこの記事が参考になれば幸いです。 本来はより詳細な Data Catalog の技術記事を紹介しようと思いましたが、今回は「Data Catalog は重要なのね」と理解することがゴールになります。また、ただのツール説明ではなく、データエンジニアリングやデータ基盤を構築するデータエンジニアとしての視点を交えて書いてみました。 とりあえず AWS Glue Data Catalog の存在意義を知るなら AWS Glue というサービスの全体を理解する必要がありそうです。 ## はじめに AWS Glue のサービスを理解しよう

クロスアカウントVPC Peering (CloudFormation vs Terraform)

# クロスアカウントVPC Peering (CloudFormation vs Terraform) ## 参考サイト https://docs.aws.amazon.com/ja_jp/AWSCloudFormation/latest/UserGuide/peer-with-vpc-in-another-account.html https://dev.classmethod.jp/articles/crossaccount-vpcpeering-cloudformation/ ## ポイント ### CloudFormationの場合 – アクセプタ側AWSアカウントとリクエスタ側AWSアカウントでそれぞれCFnテンプレートを作成・デプロイする必要がある。 – アクセプタ側では、リクエスタ側が接続を承認するためのスイッチロールを作成する必要がある。 ### Terraformの場合 – リクエスタ側のAWSアカウントのEC2やCloud9よりデプロイする想定で作成。 – 同じtfファイル内に記述できるがアクセプタ側のAWSアカウントにデプロイするためのクレデンシ

【完全SPA】独学・未経験者が「防災啓発」アプリを開発した話(2/2)【Rails/Nuxt.js/AWS/Docker/CircleCI/Terraform】

## 記事の内容 業界未経験がWeb系エンジニアになるべく作成したポートフォリオに関して、以下の情報を2つの記事に分けてまとめます。 1. ポートフォリオの紹介 2. 利用してもらった感想 と フィードバックによる改善 3. 技術選定理由 と 使用した教材の紹介 4. 反省 と 今後の課題 本記事では、 3 と 4 について記事を書かせていただきました。 1 と 2については、[こちら](https://qiita.com/kazuki-ayimon/items/a1b0c76a634663654cbf)に書いております。 最後まで読んでいただけると嬉しいです！ ## 技術選定理由と使用した教材 [こちら](https://qiita.com/kazuki-ayimon/items/a1b0c76a634663654cbf)にまとめた技術に関して、**それぞれの選定理由と私が実施した学習方法**について、説明します。 また、各技術の基礎知識について、私なりにわかりやすくまとめたQiitaの記事も載せておくので、参考にしていただけると幸いです。 *** ### 基礎知識

【AWS】作成から一定期間経過したSnapshotを自動削除する仕組みを導入してみた

# 前提 メンテナンス時など、バックアップを取る際にスナップショットを手動で取得している。 # 課題 メンテナンスが問題なく完了した後、不必要になったスナップショットの削除を行う運用ルールがなく、無駄なコストが発生していた。 # 目的 スナップショット作成から一定期間経過したものは削除する仕組みをLambdaに関数登録し、トリガーとしてCloudWatch Eventsで日時実行する。 原則AMIに登録されているスナップショットの削除は行わない。 # ソース ~~~powershell:auto_delete_snapshot.py import boto3 from datetime import datetime, timedelta import dateutil.tz ########## 変数定義 ########## # AWSアカウントID acountId = “xxxxxxxxxx” # 何日前以前を削除対象とするか指定 default=7 days = 7 ########## 削除処理 ########## def lambda_handler(even

AWS CDK初心者が爆速でLambda Layerにpythonライブラリを入れた裏技

# はじめに AWS CDKについて初心者用にまとめた記事はこちら https://qiita.com/besmero628/items/dbab08287a8bc2d1893a # 概要 最近AWSCDKを使用してpythonベースのlambdaを書いたのですが、pandasやらboto3やら使用する必要がありました。 もちろん素のpythonには入っていないライブラリなのでlambdaにパッケージごと入れる必要があるのですが、いちいちzipで固めて入れるのはめんどくさい。。。 AWSCDKをpythonで書き進めている記事もネットには少なくどうしたものかと思っていたのですが、色々調べていくうちに先人の知恵を借りられそうだったのでメモしておきます。 # 手順 :::note info cdk languageはpythonを選択しています。 ::: ## ① lambdaの作成 手始めにlambdaを作成します。 “`python:stack.py from aws_cdk import( aws_lambda as _lambda Stack ) class

【初心者】【Lambda】ログについて確認し原因をしっかり追究してみた

# はじめに どうもAWS初心者です。 今回Lambdaについて学習を行いました。 S3を利用して画像のリサイズを行う事を目標に関数を作成しました。 S3バケットを2つ用意し1つ目のバケットに画像をアップロードした際に、2つ目のバケットにリサイズした画像を上げるといった動きです。 作成しテストまでは上手くいったのですが、実際に適当な画像を上げた際に動作しませんでした。 その事について記事にしてみようかと思います。 # 原因の予測 テストで使用したファイルと同じ拡張子のファイルを利用しました。 2つのファイルの違いはサイズであり、そこに原因があると思い、サイズの小さいファイルをアップロードしてみたら成功しました。 なのでファイルが大きいことが原因だと考えました。 # 原因の解明 クラウドウォッチのログを確認することで原因の解明をしようと思いました。 しかしログを見てもエラーはありませんでした。 エラーとしては出ていなかったのですが1つ1つよく見ていく中で原因が分かりました。 ![スクリーンショット 2022-10-29 21.36.01.png](https://qiita-imag

AWS/EC2に向けてSSHを利用したshellscriptでpingっぽく疎通確認する

AWSのEC2はデフォルトだとpingによる疎通確認が出来ません。 AWS Security Groupのデフォルト設定ではSSH(TCP22)しか空いていないためです。 そこで、SSHを利用したshellscriptでpingっぽい確認を使用と思います。 # ■やりたいこと  # ■スクリプト “`bash:ssh-ping #!/bin/bash COUNT=1 while true do echo “Try:” $COUNT date timeout 1 ssh 11.22.33.44 date echo # COUNT=`expr $COUNT + 1` done “` ※無限ループするため、終了したい場合はctrl+cで停止ください。 ※10行目のIPアドレスについては適宜書き換えてください

SecretsManagerを使ってAWSのベストプラクティスに沿ったシークレット管理をしたい

# はじめに 現在、下記のTwitter botを運用しています、これはTwitterのトレンド情報を定期的に取得、集計しその日最も呟かれていたトレンド情報をランキングにするものです。 Tweets by BuzChecker プログラムはPythonを使っておりAWS lambdaにデプロイし実行しています。 構成図はこんな感じ。  これは私がAWS初学者の頃に学習の過程で作ったもので色々とイケていない箇所がありAWSのベストプラクティスに沿った構成に改良したいというのが趣旨です。 改良後はこのようなイメージになります。 ![構成図.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2631123/b11d1911-ef65-5180-

AWS CDK v2 で AppSync を作ってみた

# はじめに AWS 上のリソースを IaC として定義して、自動デプロイをやりやすくする CDK (AWS Cloud Development Kit) があります。CDK をそれほど触ったことがなかったので、今回は AppSync DynamoDB を CDK でデプロイしてみます。 また、CDK は、CDK v1 と CDK v2 の 2 種類があります。CDK v1 のサポートは、2023 年 6月に終了する予定です。なので、CDK v2 を使ったデプロイ方法を整理していきます。 # CDK Install まず初めに、CDK をインストールしないといけません。Node.js のバージョン 16 を nvm を使ってインストールしたうえで、`aws-cdk` をインストールしています。 “` nvm use v16.18.0 npm install -g aws-cdk “` 　 CDK のバージョンを確認します。この記事の時点で最新の `2.49.0` がインストールされました。 “` > cdk –version 2.49.0 (build 79

AWS CDKの情報源や資料をまとめてみた

# はじめに AWS CDK（AWS Cloud Development Kit）について最近学び始めたので、 公式・非公式問わず参考資料をまとめてみました。 :::note info 2022年10月末時点での情報です。 ::: ## 参考資料 ### Qiita記事 [5分で理解するAWS CDK](https://qiita.com/Brutus/items/6c8d9bfaab7af53d154a) ### CDK Workshop ハンズオン形式でCDKの使用感を試せます。 [AWS CDK Intro Workshop :: AWS Cloud Development Kit (AWS CDK) Workshop](https://cdkworkshop.com/) [コードでインフラ定義】CDKという異次元体験をさくっとやるのに便利なAWS公式Workshopの紹介](https://dev.classmethod.jp/articles/cdk-workshop-typescript/) ### CDK公式ドキュメント [AWS Cloud

Amazon EKSでAWS Load Balancer ControllerにS3ログ出力を設定する

# はじめに Amazon EKSで[AWS Load Balancer Controller](https://kubernetes-sigs.github.io/aws-load-balancer-controller/v2.4/)にS3ログ出力を設定する方法をまとめます。 Mac環境を想定しています。 # 実行環境の準備 1. AWS CLIの設定 [AWS CloudFormationを動かすためのAWS CLIの設定](https://qiita.com/miyabiz/items/fed11796f0ea2b7608f4)を参考にしてください。 1. EKSクラスタの構築 [Macでeksctlを利用してAmazon EKSのクラスターを構築する](https://qiita.com/miyabiz/items/75f83237795b0b7d52bd)を参考にしてください。 1. EKSのコンテキストの設定 [MacにてAmazon EKSの設定をする](https://qiita.com/miyabiz/items/b98d145cedb35dab9524)

EC2×2台S3なし環境にて、WordPressの管理画面アクセスを片方のサーバに集中させる

## やりたいこと AWSでWordPressのEC2サーバ2台の冗長構成を構築したとする。WordPress経由でコンテンツをアップロードする際に、ロードバランサ経由でアップロードすることになるため、アップロードデータの通信も分散されてしまい、ファイルが片方のサーバにしかアップロードされないといった問題が起こります。 そのため、まずはアップロードするデータが全て片方のサーバに行くように、ALBにてルールを設定したいと思います。 サーバAからBへのサーバ間ファイル同期については別で記事を書きました。 https://qiita.com/benny3333/items/93de67d047e3725102bc  ## ターゲットグループを作成する wordpressのアクセスを集中させたい方のサーバを一つのみ入れて

Amazon EKSでAWS Load Balancer ControllerにAWS Certificate Managerを利用する

# はじめに Amazon EKSで[AWS Load Balancer Controller](https://kubernetes-sigs.github.io/aws-load-balancer-controller/v2.4/)にAWS Certificate Managerを設定する方法をまとめます。 Mac環境を想定しています。 # 実行環境の準備 1. AWS CLIの設定 [AWS CloudFormationを動かすためのAWS CLIの設定](https://qiita.com/miyabiz/items/fed11796f0ea2b7608f4)を参考にしてください。 1. EKSクラスタの構築 [Macでeksctlを利用してAmazon EKSのクラスターを構築する](https://qiita.com/miyabiz/items/75f83237795b0b7d52bd)を参考にしてください。 1. EKSのコンテキストの設定 [MacにてAmazon EKSの設定をする](https://qiita.com/miyabiz/items/b98d

AnsibleをAWS Systems Managerから実行するCI/CDを構築する。（その３：SNS、Chatbotの準備）

# はじめに 前回は`CodeCommit`の準備まで行いました。 今回は`CI/CD`の実行結果通知の準備として`Amazon SNS`、`AWS Chatbot`の設定を行い、`Slack`へ通知する設定を行ってみようと思います。 – 【前】[AnsibleをAWS Systems Managerから実行するCI/CDを構築する。（その２：CodeCommitの準備）](https://qiita.com/sakai00kou/items/5977f76cb3c8a182e840) # 今回の構成 今回は`Chatbot`を使った一般的な`Slack`への通知の構成を作ってみようと思います。 “`plantuml @startuml !define AWSPuml https://raw.githubusercontent.com/awslabs/aws-icons-for-plantuml/v13.1/dist !include AWSPuml/AWSCommon.puml !include AWSPuml/Groups/AWSCloud.puml !include A

プライベートなEC2インスタンスに踏み台なしで接続してみる

はじめに

こちらの記事は下記リンクの内容を転載しています。

プライベートなEC2インスタンスに踏み台なしで接続してみる – cloud.config Tech Blog

今回は、EC2で構築したWindows サーバにSession Manager（以下SSM）を使って接続する方法を書こうと思います！

1. サブネットを作る
2. サブネットグループを作る
3. クローンの設定を行う

自動SNSサーフィンシステムをクラウド上でサーバーレスに実装

# はじめに VTuberが好きすぎて、YouTubeとTwitterで何か面白いネタがないか探す毎日を過ごしています。だいたい同じ文言で検索し、同じチャンネル（アカウント）を確認している状況でしたので、自動化できるんじゃないかと思い立ったのが事の始まりです。 設計・構築・実装がある程度形になってきたので、備忘的に書き流してみます。 # 最低限満たしたかった条件(要件定義もどき) – 費用なし(無料サービスで実現) 将来どうなるか分からないが、まずは個人用システムとして稼働させるため、初期投資なし。 – クラウドサービス利用(できる限り) サービス設計・製造部分に注力したいため、インフラ部分は外部サービスで実現する。 システム環境についてセキュリティ設計や維持運用に手が取られなくて済むように。 – できればPython・PostgreSQL利用 ちょうど勉強したいと思っていたので。あくまで可能ならば。 # サービス内容 まずは実現した機能の概要を。 ## YouTube自動検索 定期的にYouTubeでキーワード検索を行い、その結果を取得、フィルタリングしたうえでWe

Amazon Aurora Export S3を試してみた

# 背景・目的 [Amazon Aurora supports cluster export to S3](https://aws.amazon.com/about-aws/whats-new/2022/10/amazon-aurora-cluster-export-s3/)が発表されましたので、早速試してみました。 検証のポイントは、以下のとおりです。 – エクスポートの実行時間 – ファイル数とサイズ # まとめ 今回、1000万レコード、1テーブルで試しましたが、以下の結果となりました。 – エクスポート時間はトータルで20分程度 – クラスタのクローン時間は15分程度 – エクスポート時間は4分程度 – ファイル数は41ファイル、1ファイルあたり1MB程度。 # 概要 ## S3 Exportとは Auroraから直接 S3 へのエクスポートができるようになりました。これにより、スナップショットを作成/保持する時間、コスト、および余分なオーバーヘッドが節約できるとのことです。以下の特徴があります。 – Aurora クラスターから S3 にデータをエクスポ