- 1. 【AWS】デプロイ後の修正を反映させる方法
- 2. SAP認定Scale-Out構成-AWS
- 3. [Tips] AWS WAF を紐付けた API Gateway で 10KB を超えるリクエストを送信できない
- 4. MySQLのmysqldumpでS3にバックアップを保存する(EC2+S3)
- 5. 【自分用】AWS認定クラウドプラクティショナー資格試験勉強①
- 6. [AWS] Cloudwatch_LogsからLambda経由で軽いETLしつつOpenSearchでApacheログを可視化する方法
- 7. UiPath Orchestratorで発生したイベントをTeamsに通知する
- 8. AWSクライアントVPNエンドポイントとCertificate Manager(ACM)を用いて証明書を発行・再発行・更新・失効する
- 9. EC2インスタンスの自動停止起動
- 10. [AWS]Fargate+Firelens(Fluentbit)でapache-loggenを実行しCloudwatchLogsへログ転送する
- 11. S3バケット内の情報取得スクリプト
- 12. AWS Cloud Practitioner について勉強してわからないことをまとめた ~モジュール３~
- 13. [AWS] OpenSearch Service（Elasticsearch）で商品検索APIを作る
- 14. RX65N Cloud KitのFreeRTOS OTA(Over-The-Air)サンプルプログラムをデバッグする
- 15. aws ds パイプライン構築時考慮事項のメモ
- 16. 受験談 AWS Certified Developer – Associate 認定
- 17. AWS Lightsailに独自ドメインを紐づけした
- 18. Elastic Beanstalkの環境変数を一覧で表示する
- 19. AWS ソリューションアーキテクト対策
- 20. AWS ALB パスベースルーティングを実装してみました。(EC2 + ALB + Apache)
【AWS】デプロイ後の修正を反映させる方法
#はじめに
「AWSでデプロイしたはいいけど、デザインを修正したくなったよー」という人に向けた記事です。#デプロイ後の修正を反映させるには
###masterにpushする
まずはローカル環境で修正したファイルをGitHubのmasterブランチにpushします。“`
$ git push origin master
“`###git cloneしたディレクトリにpullする
EC2インスタンスが開始されていることを確認してから、sshコマンドで接続します。“`
$ ssh -i 秘密鍵.pem ユーザー名@ipアドレス
“`デプロイ時にgit cloneしたディレクトリに移動してpullします。
“`
$ git pull origin master
“`###アセットをプリコンパイルする
修正がCSSなどの場合、アセットファイルをプリコンパイルする必要があります。
簡単にいうと、JavaScriptやCSSのアセットを通信量削減のためにギュッとまとめる仕組みです。
開発環境ではこの仕組みが自動で働いてましたが、
本番環境では行われないため手動
SAP認定Scale-Out構成-AWS
#AWSにデプロイするSAP Scale-Out認定構成はピックアップしました。
※2022/01/12元時点の公開情報によるまとめ* u-6tb1.56xlarge
+ Workload (Scale-out – 16 active nodes: 1 master, 15 worker nodes):
– OLAP (incl. BW/4HANA & BWoH)
+ Workload (Scale-out up to 4 nodes: 1 master, 3 worker and NO standby node):
– OLTP (incl. S/4 HANA)
* u-9tb1.112xlarge
+ Workload (Scale-out up to 4 nodes: 1 master, 3 worker and NO standby node):
– OLTP (incl. S/4 HANA)
* u-6tb1.metal
+ Workload (Scale-out – 16 active nodes wi
[Tips] AWS WAF を紐付けた API Gateway で 10KB を超えるリクエストを送信できない
#はじめに
AWS CDK で構築していた [API Gateway](https://aws.amazon.com/jp/api-gateway/) で一定サイズ以上のリクエストボディを指定して API を呼び出したときに、そのリクエストに対するレスポンスが常に `403` になる問題に遭遇しました。
具体的には `”x-amzn-ErrorType” = “ForbiddenException”` というレスポンスヘッダと共に `403` が返却されていました。[リンク先](https://aws.amazon.com/jp/premiumsupport/knowledge-center/api-gateway-troubleshoot-403-forbidden/)の `フィルタリングされた AWS WAF` の項目に該当します。
上記の問題は、**何も考えずに [WAF](https://aws.amazon.com/jp/waf/) を設定していたことに起因していました。**本記事ではその解決方法について簡単にまとめたものになります。
#コアルールセットからリクエスト
MySQLのmysqldumpでS3にバックアップを保存する(EC2+S3)
#はじめに
こんにちは、山田です。
今回は、MySQLのmysqldumpでバックアップをS3に保存する方法を記載していきます。#全体構成図
今回の全体構成図はシンプルですが以下の通りです。
全体の流れを以下に記載します。
**① EC2-①にSSH接続します。**
**② mysqldumpコマンドを実行します。**
**③ S3にバックアップファイルが保存されます。**
#構築手順
以下により構築手順について記載していきます。
##前提条件
EC2に関しては、作成済みとします。
S3に関しては作成済みとし、バケット名「yamada-backup-s3」とします。
##IAMロールの作成
① IAMロールにアタッチする、IAMポリシーの作成します
特定のS3バケットにアクセスできるように、次のようなJSONポリシー設定します。|
【自分用】AWS認定クラウドプラクティショナー資格試験勉強①
## はじめに
AWS認定クラウドプラクティショナーの資格勉強を始めました。
毎日朝の１時間、夜の2時間を勉強時間に充てています。
確実に定着させるために、勉強したことをアウトプットしていきます。
## 項目
1.AWSの長所と利点
2.クラウドアーキテクチャの設計原理※ [『AWS認定資格試験テキスト AWS認定クラウドプラクティショナー』](https://www.amazon.co.jp/gp/product/B07QX45RXM/ref=as_li_tl?ie=UTF8&camp=247&creative=1211&creativeASIN=B07QX45RXM&linkCode=as2&tag=itabashitat0a-22&linkId=9598d51e51c3843f7a25a61ef3b45475) の第２章に相当
## 1.AWSの長所と利点
### AWSクラウドコンピューティングの６つのメリット
###（１）固定費（設備投資費）が変動費に変わる
従来のオンプレミスシステム（自社）では、事前にデータセンターやサーバーに多額の投資をする必要が
[AWS] Cloudwatch_LogsからLambda経由で軽いETLしつつOpenSearchでApacheログを可視化する方法
# やりたい事
2022/01/13開催の [SB Tech Festival](https://www.softbank.jp/biz/events/techfestival-deeptech-2022/) で登壇した内容、「ビッグデータ活用の第一歩AWS環境での大容量ログ可視化」の詳細手順(後半)ページです。
### このエントリで解説するのは以下のイメージ
前半部分のFargate+Firelens+CloudwatchLogsについては[こちら](https://qiita.com/Kedamari/items/fba00598c0bd9e08fdb9)の記事を参照してください。
# 手順
2022/01/11時点でECSコンソールは新しいエクスペリエンスが提供されていますが、本エントリでは旧UIをベー
UiPath Orchestratorで発生したイベントをTeamsに通知する
#はじめに
UiPath Orchestratorで発生するイベント（例：ジョブの開始・終了、キューアイテムの追加など）の通知を受け取りたいケースってよくあると思います。今回はTeamsで通知を受け取る方法にチャレンジしてみます。
※今回はRobotの処理中で発生したイベント（業務エラーなど）の通知ではありません。その場合は、ワークフローにメール送信機能などを組み込むケースが多いと思います。#使うもの
UiPath Orchestrator（Clould） ※2021/12時点
AWS API Gateway
AWS Lambda
Microsoft Teams#仕組み
大まかな仕組みは、こんな感じです。
Orchestratorで発生したイベントはWebhookで外部アプリケーション（AWS）へ送信します。
Webhookで発信されたイベントはAPI Gatewayで受け取り、Lambdaで解析され、Teamsに送られます。
TeamsではIncoming Webhookを使い、チャネルにポストします。
を用いて証明書を発行・再発行・更新・失効する
#概要
無料でSSL証明書が利用できるAWS Certificate Manager（以下ACM）を使用してサーバ証明書とクライアント証明書の発行手順を解説します。
状況に応じて、証明書の更新や再発行、失効させる作業もあると想定し、手順を説明します。# 前提
– クライアントVPNエンドポイントをVPC上に設定し、クライアントとVPCとの間でVPNを作る。
– クライアントからのアクセスに対しては認証に利用するサーバ証明書とクライアント証明書をACMに登録する。
– クライアントにはOpenVPNクライアントをインストールし、OpenVPN公式の`easy-rsa`を利用し、クライアント証明書をセットする。
– ALB(アプリケーションロードバランサー)などにACMで発行した証明書をセットし、HTTPS化するという方法は今回は説明しない。#手順
1. easy-rsaインストール
1. PKI環境の初期化
1. 認証機関（CA）の作成し、CA証明書を作成
1. サーバ・クライアント証明書とキーを作成
1. ACMにCA証明書・証明書とキーをインポート#1. 証明書発行作
EC2インスタンスの自動停止起動
# 経緯
EC2インスタンスを、使用しない時間帯のみ止めてコスト削減をしたい。
Lambdaのみでの実装と、Instance Schedulerでの実装を行い、それぞれの複数インスタンス・複数スケジュール設定の場合やコスト、注意などをまとめる。**【参考】**
https://aws.amazon.com/jp/premiumsupport/knowledge-center/start-stop-lambda-cloudwatch/
https://aws.amazon.com/jp/builders-flash/202110/instance-scheduler/?wsf.filter-name=*all
https://docs.aws.amazon.com/ja_jp/solutions/latest/instance-scheduler/deployment.html#step5
# Lambda のみで実装する
**〇手動方式〇**
**1. IAM ポリシーと IAMロール作成**
* ポリシーの作成。CloudWatch Logの書き込み、E
[AWS]Fargate+Firelens(Fluentbit)でapache-loggenを実行しCloudwatchLogsへログ転送する
# やりたい事
2022/01/13開催の [SB Tech Festival](https://www.softbank.jp/biz/events/techfestival-deeptech-2022/) で登壇した内容、「ビッグデータ活用の第一歩AWS環境での大容量ログ可視化」の詳細手順(前半)ページです。
### このエントリで解説するのは以下のイメージ
後半部分のLambda+OpenSearchについては[こちら](https://qiita.com/Kedamari/items/9210d108c6ffff9b2a65)の記事を参照してください。
# 手順
2022/01/11時点でECSコンソールは新しいエクスペリエンスが提供されていますが、本エントリでは旧UIをベースに解説しています。##
S3バケット内の情報取得スクリプト
# 経緯
S3バケット内のオブジェクト（ファイル）について、名前・最終更新日・サイズを取得してCSVファイルに出力したい。
Pythonでスクリプトを書いていく。不慣れなため無駄が多いかと思うが、ご容赦を。
参考：[AWS Lambda Python S3でフォルダ以下のファイル一覧を取得する](https://qiita.com/koji4104/items/15ac578e561f53a0dadc)# スクリプト作成
以下の構成において、xxx配下のファイル一覧（名前、最終更新日、サイズ）を取得する。
また、オブジェクトは名前（ooooo）で絞って出力する。
**s3://aaa.backup/xxx/ooooo**aaa.backup：バケット
xxx：プリフィックス
ooooo**：オブジェクト出力するCSVの中身は以下のようにしたい。
**見出し: Name,Data,Size**
**データ: oooooabcd,[JST]2022/01/10 12:05:10,20.5 KB**# オブジェクトキーの出力
参考：[Boto 3 で Amazon S3 上の
AWS Cloud Practitioner について勉強してわからないことをまとめた ~モジュール３~
## はじめに
[「AWS Cloud Practitioner について勉強してわからないことをまとめた ~モジュール２~」](https://qiita.com/dai_chi/items/7c8620adb0b4478f8832)の続きです。過去投稿分
[「AWS Cloud Practitioner について勉強してわからないことをまとめた ~モジュール１~」](https://qiita.com/dai_chi/items/9744c7935d00206ffc3a)参考：[AWS Cloud Practitioner Essentials(Japanese)](https://explore.skillbuilder.aws/learn/course/1875/play/27620/aws-cloud-practitioner-essentials-japanese-ri-ben-yu-shi-xie-ban)
## AWSグローバルインフラストラクチャ
### リージョンを選択する
サービス、データ、アプリケーションに適したリージョンを決定する際は、以下の４つのビ
[AWS] OpenSearch Service（Elasticsearch）で商品検索APIを作る
# １．はじめに
みなさんOpenSearch（Elasticsearch）使ってますか？
OpenSearchはオープンソースの検索エンジンで、全文検索や商品検索、さらにはデータ分析まで、検索用途なら何でも幅広く活用することができます。今回はそのOpenSearchを使って、ECサイトで使うような商品検索APIを作る方法を紹介してみたいと思います。# ２．OpenSearchとElasticsearchの関係
OpenSearchという言葉自体を聞き慣れない人もいるかもですが、これはElasticsearch（ES）とほぼ同じものです。
ESは元々Apache License 2.0に準拠したオープンソースソフトウェア（OSS）で、AWSも以前はこのOSS版のESをサービスとして提供していました。
しかし2021年1月、開発元のElasitic社はESのライセンスを変更し、OSSではない独自ライセンスにしてしまいました。これによりAWSはElasticsearchをサービスとして提供できなくなるため、最終のOSSバージョンであるES7.10をフォークしてOpenSearchとい
RX65N Cloud KitのFreeRTOS OTA(Over-The-Air)サンプルプログラムをデバッグする
# 環境準備
Renesas RX65N Cloud KitでFreeRTOS OTA(Over-The-Air)サンプルプログラムをデバッグする方法を確認してみました。* FreeRTOS OTAサンプルプログラムを動作させるためにはルネサス公式サイトの以下のアプリケーションノートが参考になります。
* しかし、以下のアプリケーションノートはRenesas Flash ProgrammerでOTAサンプルプログラムをフラッシュメモリに書き込んで、プログラムを起動させるだけなので、OTAサンプルプログラムをe2 studioを使用してプログラムをデバッグすることができません。
* e2 studioの機能でブートローダとファームウェアのプログラムを同時にRenesas RX65N Cloud Kitにダウンロードする機能もありますが、ブートローダがファームウェアを起動するために必要な署名検証データはRenesas Secure Flash Programmerを使用して付加されるものなので、同じくデバッグすることはできません (署名検証で
aws ds パイプライン構築時考慮事項のメモ
粒度をそろえるのが難しいので表形式でメモ。変に切り口をこねるよりも表形式だと粒度やフローに沿ってまとめやすい。
| 粒度 | | 手段 | 特徴 or ユースケース |
| ———————- | ———————- | ———————- | ———————- |
| サービス | | athena | 非構造化データ、半構造化データ、構造化データすべてが対象
データレイクから直でアドホックなSQLを実行したい場合
BIチームなどにも情報へ素早くアクセスしてほしい場合
例：アドホックな分析 |
| | | redshift | 構造化データに対するアナリティクスが対象
スケールとパフォーマンスを追求する場合、より本格的なワークロードを実行したい場合。|
| テーブル作成 | parquetによるパフォーマンス最適化 | パーティション | モダンなクエリエンジンのストレージに対するプッシュダウンを活用してディスクの異なる領域にランダムにスキップ
受験談 AWS Certified Developer – Associate 認定
AWS Certified Developer – Associateを受験しました。
受験される方の参考になりましたら。
# 前提
2021年
8月：SAA [(受験談)](https://qiita.com/h2m_kinoko/items/5179bcb73b6773771f79 “受験談 AWS Certified Solutions Architect – Associate 認定”)
9月：SAP
11月：SOA [(受験談)](https://qiita.com/h2m_kinoko/items/0b05378d96f4246bbdd0 “受験談 AWS Certified SysOps Administrator – Associate 認定”)
12月：SCS [(受験談)](https://qiita.com/h2m_kinoko/items/20f06a746ab15540cd37 “受験談 AWS Certified Security – Specialty 認定”)
2022年
1月：DVA（今回ココ）SAA受験談に私のAWSの事前知識・経験が書いてあ
AWS Lightsailに独自ドメインを紐づけした
# 概要
なにかしらのサーバーが必要になったのだが、月額固定料金にしたかったので AWS Lightsailでサーバーをたてた。せっかくなので、サーバーに固定IPと独自ドメインを設定まで行った。# 前提
## 独自ドメインの取得
数日前に国内サービスを使用して取得した。業務で取得や管理をしたことはあったが、個人用としては初めて取得。個人情報だだもれ防止用に「Whois情報公開代行」に気を付けるくらいで、あとは期間とお金の問題でたいしたことない。## なぜAWS Route 53？
AWSのサーバーのDNSのことなので、Route 53を使うことにした。他のサービスでもできると思われるが、あえてAWSを避ける意味もないので、Route 53とした。## Lightsailの固定IP
Networking > PUBLIC IPから設定した。サーバーが起動している限り無料とのことなので設定しておく。サーバーが不要になって停止するときに解放忘れすると知らぬ間に費用がかかってしまうらしいので気にしておく。困ることなく設定できた。# 本題
取得したドメインとIPアドレスが紐づくよ
Elastic Beanstalkの環境変数を一覧で表示する
# 経緯
[クラスメソッドさんの記事](https://dev.classmethod.jp/articles/export-csv-for-eb-environment-properties/)のコマンドがうまく通らなくて、jqが良く分からんから作った。# コード
“`python
import boto3
from pprint import pprint
import sys
args = sys.args
session = boto3.Session(profile_name=args[1])
eb = session.client(‘elasticbeanstalk’)
hoge = eb.describe_environments()[“Environments”]
ebname = [i[‘EnvironmentName’] for i in hoge]
apname = [i[‘ApplicationName’] for i in hoge]
for i, j in zip(ebname, apname):
ebconf = eb.describe_co
AWS ソリューションアーキテクト対策
#はじめに
今回AWS Solutions Architect – Associateを受けたので自分の備忘録としてまとめました。
(ただメモとして書き殴っただけですので参考になるかわかりませんが、、、)
年末にノリで申し込んで約10日後に受験しました。(無事取得できました)
特にAWSをガッツリ触っているわけでなく、Azureを業務で軽く触っているぐらいです。
主にUdemyで勉強しました。Udemyオススメです。#IAM
– IAMとは、安全にAWS操作をするための認証・認可の仕組みと思えば良い
####ルートアカウント
– AWSアカウントを作成した時に用意したEメールアドレスとパスワードを使用してサインインできるアカウント
– 権限が最強すぎるのでこのアカウントは基本的に使用しないようにするルートアカウントしかできないこと
– AWSアカウントの停止
– IAMユーザーの課金情報へのアクセス
– S3バケットへのMFAによる削除の有効化
– CloudFrontのキーペア作成 etc####IAMポリシー
– どのリソースに対してどの操作をする
AWS ALB パスベースルーティングを実装してみました。(EC2 + ALB + Apache)
#はじめに
こんんちは、山田です。
今回は、Appliation Load Balancerを用いて、URLのパスごとに接続先のポート番号を変更する方法について記載していきます。#全体構成図
今回使用するAWSリソースは以下の通りです。|AWSリソース名 |個数 |備考 |
|—|—|—|
|VPC|1|-|
|Subnet|4|PublicSubnet 2つ
PrivateSubnet 2つ|
|EC2 |3 |EC2-①(Windows)
EC2-②(RHEL)
EC2-③(RHRL)|
|InternetGateWay|1 |-|
|ALB | 1 |- |
|Route53|1|PrivateHostZone 1つ|以下に全体構成図を記載します。
ALBに関しては、接続元U
