AnsibleをAWS Systems Managerから実行するCI/CDを構築する。（その３：SNS、Chatbotの準備）

# はじめに 前回は`CodeCommit`の準備まで行いました。 今回は`CI/CD`の実行結果通知の準備として`Amazon SNS`、`AWS Chatbot`の設定を行い、`Slack`へ通知する設定を行ってみようと思います。 – 【前】[AnsibleをAWS Systems Managerから実行するCI/CDを構築する。（その２：CodeCommitの準備）](https://qiita.com/sakai00kou/items/5977f76cb3c8a182e840) # 今回の構成 今回は`Chatbot`を使った一般的な`Slack`への通知の構成を作ってみようと思います。 “`plantuml @startuml !define AWSPuml https://raw.githubusercontent.com/awslabs/aws-icons-for-plantuml/v13.1/dist !include AWSPuml/AWSCommon.puml !include AWSPuml/Groups/AWSCloud.puml !include A

プライベートなEC2インスタンスに踏み台なしで接続してみる

はじめに

こちらの記事は下記リンクの内容を転載しています。

プライベートなEC2インスタンスに踏み台なしで接続してみる – cloud.config Tech Blog

今回は、EC2で構築したWindows サーバにSession Manager（以下SSM）を使って接続する方法を書こうと思います！

1. サブネットを作る
2. サブネットグループを作る
3. クローンの設定を行う

自動SNSサーフィンシステムをクラウド上でサーバーレスに実装

# はじめに VTuberが好きすぎて、YouTubeとTwitterで何か面白いネタがないか探す毎日を過ごしています。だいたい同じ文言で検索し、同じチャンネル（アカウント）を確認している状況でしたので、自動化できるんじゃないかと思い立ったのが事の始まりです。 設計・構築・実装がある程度形になってきたので、備忘的に書き流してみます。 # 最低限満たしたかった条件(要件定義もどき) – 費用なし(無料サービスで実現) 将来どうなるか分からないが、まずは個人用システムとして稼働させるため、初期投資なし。 – クラウドサービス利用(できる限り) サービス設計・製造部分に注力したいため、インフラ部分は外部サービスで実現する。 システム環境についてセキュリティ設計や維持運用に手が取られなくて済むように。 – できればPython・PostgreSQL利用 ちょうど勉強したいと思っていたので。あくまで可能ならば。 # サービス内容 まずは実現した機能の概要を。 ## YouTube自動検索 定期的にYouTubeでキーワード検索を行い、その結果を取得、フィルタリングしたうえでWe

Amazon Aurora Export S3を試してみた

# 背景・目的 [Amazon Aurora supports cluster export to S3](https://aws.amazon.com/about-aws/whats-new/2022/10/amazon-aurora-cluster-export-s3/)が発表されましたので、早速試してみました。 検証のポイントは、以下のとおりです。 – エクスポートの実行時間 – ファイル数とサイズ # まとめ 今回、1000万レコード、1テーブルで試しましたが、以下の結果となりました。 – エクスポート時間はトータルで20分程度 – クラスタのクローン時間は15分程度 – エクスポート時間は4分程度 – ファイル数は41ファイル、1ファイルあたり1MB程度。 # 概要 ## S3 Exportとは Auroraから直接 S3 へのエクスポートができるようになりました。これにより、スナップショットを作成/保持する時間、コスト、および余分なオーバーヘッドが節約できるとのことです。以下の特徴があります。 – Aurora クラスターから S3 にデータをエクスポ

Amazon Aurora Serverless v2 料金計算

# はじめに Amazon Aurora Serverless v2 とは、AWSのサーバーレスのデータベースサービス。 前回の記事ではハンズオンを実施してみました。 [Amazon Aurora Serverless v2 ハンズオンやってみた \- Qiita](https://qiita.com/ebarou/items/237823ac848facabdaa6) 今回の記事では料金の計算方法をまとめたいと思います。 # ACUとは AWS公式サイトで東京リージョンの料金を確認してみると **Aurora キャパシティーユニット　　　0.20USD/ACU 時間** [料金 \- Amazon Aurora \| AWS](https://aws.amazon.com/jp/rds/aurora/pricing/) キャパシティユニット..? ACU..? >Aurora Serverless では、データベース容量は 1 秒あたりに請求される Aurora Capacity Unit (ACU) で測定されます。1 ACU には、対応する CPU とネットワークを備

Amazon EKSでNGINX Ingress ControllerにS3ログ出力を設定する

# はじめに Amazon EKSで[NGINX Ingress Controller](https://github.com/kubernetes/ingress-nginx)にS3ログ出力を設定する方法をまとめます。 Mac環境を想定しています。 # 実行環境の準備 1. AWS CLIの設定 [AWS CloudFormationを動かすためのAWS CLIの設定](https://qiita.com/miyabiz/items/fed11796f0ea2b7608f4)を参考にしてください。 1. EKSクラスタの構築 [Macでeksctlを利用してAmazon EKSのクラスターを構築する](https://qiita.com/miyabiz/items/75f83237795b0b7d52bd)を参考にしてください。 1. EKSのコンテキストの設定 [MacにてAmazon EKSの設定をする](https://qiita.com/miyabiz/items/b98d145cedb35dab9524)を参考にしてください。 1. Helmの設定 [Ama

Amazon EKSでNGINX Ingress ControllerにAWS Certificate Managerを利用する

# はじめに Amazon EKSで[NGINX Ingress Controller](https://github.com/kubernetes/ingress-nginx)にAWS Certificate Managerを設定する方法をまとめます。 Mac環境を想定しています。 # 実行環境の準備 1. AWS CLIの設定 [AWS CloudFormationを動かすためのAWS CLIの設定](https://qiita.com/miyabiz/items/fed11796f0ea2b7608f4)を参考にしてください。 1. EKSクラスタの構築 [Macでeksctlを利用してAmazon EKSのクラスターを構築する](https://qiita.com/miyabiz/items/75f83237795b0b7d52bd)を参考にしてください。 1. EKSのコンテキストの設定 [MacにてAmazon EKSの設定をする](https://qiita.com/miyabiz/items/b98d145cedb35dab9524)を参考にしてください。

Amazon Aurora Serverless v2 ハンズオンやってみた

# はじめに Amazon Aurora Serverless v2 とは、AWSのサーバーレスのデータベースサービス。 [AWS公式日本語ハンズオン集](https://aws-samples.github.io/jp-contents-hub/ “JP Contents Hub”) にAurora Serverless v2 のハンズオンがあったのでやってみた。 [Aurora\-Serverless\-v2/Amazon Aurora Serverless v2 ワークショップ\.pdf GitHub](https://github.com/harunobukameda/Aurora-Serverless-v2/blob/main/Amazon%20Aurora%20Serverless%20v2%20%E3%83%AF%E3%83%BC%E3%82%AF%E3%82%B7%E3%83%A7%E3%83%83%E3%83%97.pdf) # ハンズオンの内容 ServerlessでないAurora起動して、readerとしてAurora Serverless v2を作

【初心者】AWS IoT Coreを調べてみた

# 背景・目的 AWS IoT Core について理解するために、整理します。 # まとめ – デバイスがAWSや他のデバイスに接続し処理できる。 − AWS IoT Coreの特徴を以下に整理しました。 | | 概要 | 機能や特徴 | | |:—|:—|:—|:—| |IoT デバイスSDK | デバイスがIoT Coreと接続する際に使用。簡単に接続可能。複数のプロトコルが使用できる。|以下のプロトコルをサポート
・MQTT
・HTTP
・WebSockets

以下の言語をサポート
・C
・JavaScript
・Aruduino | | |Device Advisor | テスト機能| フルマネージド
IoT Coreと確実に相互運用できるかテストする | | |デバイスゲートウェイ | IoTデバイスがAWSに接続する入り口
複数のプロトコルに対するセマンティクスを実装し、デバイスがIoT Coreと安全で効率的な通信ができるようにする。| フルマネージドでオートスケーリング可能
(ユー

AWS Black Belt Online Seminar IAM Part1 まとめ

# はじめに 「AWS Black Belt Online Seminar IAM Part1」を視聴したので備忘録です

# IAM とは ## IAM の定義 AWSリソースをセキュアに操作するために認証・認可の仕組みを提供するマネージドサービス ## IAM の特徴 ・各AWSリソースに対して別々の権限をユーザ毎に割り当てることができる ・多要素認証にも対応 ・一時的なトークンを用いた認可ができる ・料金は無料 # IAM 用語解説 ## ルートユーザ ルートユーザとは そのアカウントの全てのAWSサービスとリソースに全ての権限を持つユーザ(なんでもできる) 注意事項 ・基本的なオペレーションはルートユーザでは行はない ・ルートユーザのアクセスキーは作成しない ・ルートユーザの認証情報をプログラムに埋め込まない ・多要素認証を有効化する(強い権限を持つIAMユーザにも多要素認証を有効化した方がいい) ルートユーザでしかできない操作 ・ルートユーザのパスワード/メ

[AWS] AWS Network Firewallの帯域上限について

# AWS Network Firewallの帯域上限について(2022/10/28時点) 公式リファレンスより、 > Network Firewall supports up to 100 Gbps of network traffic per firewall endpoint. If you require more traffic bandwidth, you can split your resources into subnets and create a Network Firewall firewall in each subnet. 引用元: [Configuring your VPC and other components for AWS Network Firewall – AWS Network Firewall](https://docs.aws.amazon.com/ja_jp/network-firewall/latest/developerguide/vpc-config.html) とあり、ファイアウォールエンドポイント毎に **100 Gb

【AWS】IAMの概要を5分で理解する

IAM(Identity and Access Management)とは

一言で言うと、AWSのサービスを「勝手に操作されないように守るため」の機能のこと。

前提

AWSの仕様として、ユーザーはデフォルトでどのサービスを使うのも禁止されているイメージを持つ。 これを、IAMを使って一つずつ許可していく。

IAM用語

ポリシー

IAMにおけるルールは全てポリシーで管理されている。実体はkey-value形式のjsonファイル。ユーザーにどんな操作を許可するのかという内容を全てここに書く。そのため、ポリシーがないとAWSではまず何もできません。AWSがデフォルトで用意しているポリシーセットを使う場合と、オリジナルにポリシーを作り上げる場合とがある。このポリシーを後述する「ユーザー」「グループ」「ロール」という単位でアタッチできる。

IAMユーザー

個人個人のアカウントのこと。

IAMグループ

ユーザーをひとまとめにしたもの。部署のイメージ。

Amazon MCS(Amazon Keyspaces) とは

## 勉強前イメージ セキュリティ認証情報でAmazon MCS認証情報のタブで見かけたけどこれは何？ ## 調査 ### Amazon MCS とは Amazon Managed Apache Cassandra Service の略でMCSと呼ばれています。 プレビュー期間は Amazon MCSと呼ばれていましたが、正式にはAmazon Keyspacesというサービスになっています。 Apache Cassandra互換の可用性の高いマネージドなデータベースサービスです。 そもそもApache Cassandraとは、 オープンソースの分散型のデータベースで、NoSQLの一つになります。 複数のノードで管理することを前提にされておりハッシュ値によって記録するノードが選択されます。 初期はfacebook社が開発し、Apacheライセンスに基づいてオープンソースとして公開されました。 というもので、NoSQLのDBになります。 このApache CassandraをAWSでフルマネージドで使えるのがAmazon MCS(Amazon Keyspaces)になります。

[Windows 版] CodeCommit を ローカルに SourceTree でクローンする

# はじめに Windowsで CodeCommit のリポジトリを SourceTree でローカルにクローンする方法についてまとめました。 Windowsは、CodeCommitのリポジトリをHTTPSでクローンできないようなので、SSHでのクローン方法を採用します。 # 事前準備 – codecommitのリポジトリ作成済み # CodeCommit の SSH キーの作成とIDの取得 SSHキーの取得方法は、下記の記事通りにするだけです。 https://oreout.hatenablog.com/entry/aws/codecommit/1 1点補足しますと、ssh-keygenコマンドは、下記のコマンドでもSSHキーを作成できます。 “` $ ssh-keygen “` コマンド実行後、全てEnterを押すと、デフォルトで作成され、以下の２つのキーが作成されます。（passphraseは、空でよいです。） – 秘密鍵の`/.ssh/id_rsa` – 公開鍵の`/.ssh/id_rsa.pub` 秘密鍵は、あとで使用します。 `SSH キー ID`も後に

【AWS】EC2において、AWS側のホスト問題に対処する方法

はじめに

EC2において、AWS基盤側(仮想サーバーホスト、ハードウェア等)の問題が発生した際に、皆さんは対処してますか。
例え対処しなくても、AWS側が最終的には仮想サーバーホスト再振り分けをするみたいです。 ただ、サービスのダウンタイムを減らすためにも利用者側で先に対処するべきです。

今回のゴール

AWS基盤側の問題を検知し、利用者側で対処することです。
具体的には、あるCloudWatchのメトリクスをトリガー起点に、CloudWatchアラームのアクションを実行させることです。

作業手順

これから行う流れとしては、下記のとおりです。
「EC2構築」 → 「CloudWatchアラーム作成」 → 「確認」

入力あるいはクリック箇所は赤枠でできる限り示します。 EC2コンソールから、Launch instances選択 ![2022-10-27 20_14_48-Instances _ EC2 Management Cons

vagrant（awslinux2） + gitlab環境構築とaws ec2でgitlabインストール

# 概要 awsEC2環境でgitlabを入れたいので練習がてらvagrantで構築可能か試してみる。 と同時に実際にEC2にも入れてみたので備忘録として残しておく。 ## 使用環境 ### ローカル * win8 * vagrant * bento/amazonlinux-2 * メモリ：3GB ※メモリが低いと動かない。 ### EC2 * t3.medium * メモリ：4GB * CPU：2コア ## 手順 1．root権限でログイン 2．必要なツールをインストール 3．gitlabをインストール 4．設定ファイルを変更（gitlab.rb） 5．gitlabを起動 6．ブラウザからアクセス確認 ### root権限でログイン vagrant（EC2）環境へログイン後ルート権限にスイッチ ~~~:Terminal sudo su ~~~ ### 必要なツールをインストール アップデートを実行後に各種インストールをする。 ~~~:Terminal yum update yum install -y curl policycoreutils-python opens

S3でホスティングしているWebサイトに独自ドメインを割り当て、https化する方法

 ## はじめに 株式会社マイスター・ギルド新規事業部のヒツジーです。 弊社新規事業部では、新規サービスの立ち上げを目指して 日々、アイディアの検証やプロトタイプの作成などを行っています！ 技術の進歩は目覚ましいので、置いてかれないように新しい技術のキャッチアップにもいそしんでいます！ 本記事は、S3にホスティングしているWebサイトに独自ドメインを割り当て、https化する方法ついてご紹介します。 S3にホスティングしているWebサイトのURLは`http://.s3-website-.amazonaws.com/`のようになっていると思いますが、独自ドメインを割り当てhttps化させて`https://`のように使えるようにする方法を具体的に説明していきます！ サブドメ

AmazonConnect × Salesforce 連携をセットアップしてトラブルシュートした話 その３ （コンタクト追跡レコード（CTR）のセットアップ）

 # 前提条件 Saleforce API Version ： v55.0 serverlessrepo-AmazonConnectSalesforceLambda ： 5.19.0 この記事は、2022/10頃に書かれています。 AmazonConnectのGUIの問題（その内VerUpで解消されるかも？）だったり、自分の理解不足の問題だったりするので、備忘以外の何物でもないかもしれません。 同じハマり方をした人に届いたらいいな？と自分への備忘も兼ねて # トラブルの内容 公式のインストール手順書は下記の通り https://amazon-connect.github.io/amazon-connect-salesforce-cti/docs/lightning/salesforce-lambdas/05-contact-

AWS Glue DataBrewの処理時間をサクッと計測してみた

AWS Glue DataBrewを仕事で使う機会があったのでサクッと計測してみた。 （実際は全然サクッとできなかったが、かっこよく言ってみたかった) #　テストデータを作成