- 1. 【Python/AWS】第4回 AWS Glueを使ってS3のデータを成形する【データ分析】
- 2. 【初学者】RailsをECS(Fargate)にNginxを使用せずにデプロイしようとした際に、ブラウザで「このサイトにアクセスできません」と出力されてしまった際の暫定対処
- 3. AWS Lambdaで動かすStable Diffusion（ネガティブプロンプト対応 Diffusers v0.4.2）
- 4. EKS上のステートフルアプリケーションをまるごとバックアップ・リストアしてみた【①Astra Control Service導入篇】
- 5. 【AWS】エラー：The request is rejected because the current account does not have an invitation from the requested master account の解決
- 6. AWS クラウドプラクティショナー合格までのメモ（更新中）
- 7. CDKでリージョン・アカウント指定が無くてハマった話
- 8. Lambda(Go)とAuroraを接続するときにDataAPIとRDS Proxyがよくわからなかったのでまとめる
- 9. 【Python/AWS】第3回 AmazonComprehendを使ってテキストデータを感情分析する【データ分析】
- 10. Azure P2S VPN接続とS2S VPN接続を共存させる
- 11. AWS Compute Optimizer とは
- 12. NATゲートウェイを作成する
- 13. 【Python/AWS】第2回 LambdaとS3を利用してデータ取得を自動化する【データ分析】
- 14. チームプロジェクトでAWS管理(2) – 管理者IAMユーザー
- 15. QuickSightのコンソール画面からのグループ管理に必要な前提操作について
- 16. AWS初心者は必ず読むべき！必見！AWSの基本⑩CloudWatchでシステム監視
- 17. 【解決済】RailsのHostAuthorizationによってELBのヘルスチェックがhealthyにならない
- 18. AWS DMSでMySQLからRedshiftへのマイグレーションを試してみる
- 19. 【2022年版】【AWS EC2】Amazon Linux2にMySQLのclientだけをインストールする方法
- 20. ALBのログとログフォーマットを簡単に紐づける
【Python/AWS】第4回 AWS Glueを使ってS3のデータを成形する【データ分析】
# 1. はじめに
本記事は【Python/AWS】の第4回として前回に引き続き、
AWSのサービスを利用した一連のデータ分析の続きとなります。**▼前回の記事はこちら▼**
https://qiita.com/kawanago_py/items/9f86f9d3f4acdb7a5096
私自身、AWSのサービスを触るのは初めてだったので、
細かい説明など不足する点はあるかと思いますが、
大まかな流れをこちらで解説していきたいと思います。本分析の全体像は以下のようになります。
全体の分析目的は以前の分析から継続/発展して、
**「Splatoon3」におけるコンテンツのユーザー満足度調査** です。収集したデータから
【初学者】RailsをECS(Fargate)にNginxを使用せずにデプロイしようとした際に、ブラウザで「このサイトにアクセスできません」と出力されてしまった際の暫定対処
初学者のため誤り等あるかもしれませんが、本事像で丸3日ほど苦労し参考となる記事がなかったため、雑な記載になりますが備忘もかねて投稿させていただきます。
記載の内容で一旦解決しましたが、今後学習を進める中で根本原因や対処が誤っていた場合は修正するようにいたします。
特殊なケースかもしれませんが、どなたかのお役に立てば嬉しいです。# 事象の概要
・Railsで作成したAPIをECS(Fargate)にNginxを使用せずにデプロイしたところ、
CloudWatch上ではRailsサーバが問題なく立ち上がっているにもかかわらず、
ブラウザでECSタスクのPublicIPに接続すると「このサイトにアクセスできません」と出力される。
## 詳細の状況
・インフラ構成は以下の通り
・RailsはDockerfileで3000番ポートで立ち上げ。
`
AWS Lambdaで動かすStable Diffusion（ネガティブプロンプト対応 Diffusers v0.4.2）
# はじめに
先日(2022/10/7)、Diffusers v0.4.0がリリースされました。
9月にリリースされたv0.3.0ではONNXがサポートされてCPUでの実行がやりやすくなり、今回のv0.4.0ではポジティブプロンプトとネガティブプロンプトの両方を指定できるようになるなどの機能が追加されています。
これまでCPUでStable Diffusionを使用する場合はopenvino版を使用していましたが、本記事ではこれらの追加された機能を活用し、openvinoを使わずにAWS Lambdaにて動作確認をしてみたいと思います。:::note alert
費用に関する注意、および、免責事項
– 注意事項
本記事ではLambda関数に設定可能なメモリ上限の割り当てを行います。
また、画像の作成には1枚に数分程度かかるなど費用が高額になる可能性があるため内容を検証する場合は十分ご注意ください。
– 免責事項
当方はこの記事を使用して生成されたコンテンツについて責任を負うものではなく、また、このプロジェクトを違法、有害、攻撃的なコンテンツの作成に使用しないでください。
:::
EKS上のステートフルアプリケーションをまるごとバックアップ・リストアしてみた【①Astra Control Service導入篇】
# はじめに
突然ですが皆さんは**Kubernetes上のアプリケーションのバックアップや移行**ってどうしてますか？
シンプルなアプリであればデプロイ時のマニフェスト(YAMLファイル)を保管しておけばいつでも再デプロイできるので「k8sって便利だなぁ」と思う反面、永続ストレージ(PV)が絡む所謂**ステートフルアプリケーション**になると途端に面倒くさくなってきます。具体的にはアプリを構成する**DeploymentやconfigMapなどのリソース群**はマニフェストをGitで管理するであったり、**PVの中のデータ**はvolumeSnapshot使ったりストレージ製品の機能を使ってみたりと、従来システムバックアップ等で一気通貫にバックアップ出来てた部分がk8sでは個別に考える必要が出てきます。
バックアップが二度手間になるだけでも面倒ですが、この2つに別れたバックアップデータの整合性を取ろうとしたりすると「GitのコミットIDとvolumeSnapshotの名前を紐づける？」とか更にややこしいことに考えるハメに…。そんな折に**ステートフルアプリケーションのバックア
【AWS】エラー：The request is rejected because the current account does not have an invitation from the requested master account の解決
こんにちは。
AWSマルチアカウント環境を管理している者です。AWSマスタアカウントからメンバーアカウントに対してAWS GuardDutyとAWS Security Hubを開始させる際にInvitationの問題がよく発生してましたので記録します。
# エラー内容
**ResourceLogicalId:Master, ResourceType:AWS::GuardDuty::Master, ResourceStatusReason:The request is rejected because the current account does not have an invitation from the requested master account. (Service: null; Status Code: 0; Error Code: null; Request ID: null; Proxy: null).**
→ マスタアカウントを管理者にするGuardDutyをメンバーアカウントで開始するには、マスタアカウントよりInvitationを事前にもらう必要があり
AWS クラウドプラクティショナー合格までのメモ（更新中）
2022年
– 9/27
– 一念発起してAWSのアカウントを作り、Udemyでクラウドプラクティショナー試験突破講座を買う
– 9/28～10/4まで毎日30～1時間勉強。ハンズオンはやらず、座学中心。
– 10/5
– 突破講座の講師の声があまり好きではなくてモチベーションが上がらなかったので、AWS Skill Builderに浮気。2人の講師のたどたどしさがかわいくて気に入った。
– 10/6～ 毎日30～1時間勉強。座学とハンズオンを並行して。シュンとカズミ（かわいい講師）が見せてくれるデモを再現してみるだけ。
CDKでリージョン・アカウント指定が無くてハマった話
### はじめに
CDKを使う中で、アカウント・リージョン指定が無い為にハマったので、そのエラー対処の記録です。
### 検証環境
– cdk（v2.44.0）
– typescript（v4.8.4）
– node.js（v16.14.0）### 問題の内容
CDKでcodepipelineのDeployステージを構築しようとした際、以下のエラーメッセージが表示されました。
“`bash
Error: Pipeline stack which uses cross-environment actions must have an explicitly set region
at Pipeline.requireRegion (/home/ec2-user/environment/cdk-cicd/node_modules/aws-cdk-lib/aws-codepipeline/lib/pipeline.js:1:19177)
at Pipeline.ensureReplicationResourcesExistFor (/home/ec2-user
Lambda(Go)とAuroraを接続するときにDataAPIとRDS Proxyがよくわからなかったのでまとめる
# はじめに
Lambda(Go)をServerlessFrameworkでデプロイして、次にAuroraを利用してデータ取得をしようとしたとき色々知識がなかったので苦戦しました
そこで、知識面で参考になりそうなことをまとめていきます
# なぜDataAPIかRDSProxyが必要なのか
まず最初に思ったのはなぜDataAPIまたはRDSProxyを経由してDBにアクセスしないといけないのかというのでした
Auroraにはエンドポイントがあるのでそれで直接アクセスでよいのではと考えました
しかし、Lambdaからやる場合は直接ではなく、どちらかを仲介したほうが良いです。使う理由は「DBへの接続数が多くなってしまうのを防ぐため」です。接続プーリングをうまいことやってくれるようでした
# 2つの違い
>Q. RDS Proxy と DataAPIの違いは何でしょうか？
A. RDS Proxy はデータベースへの接続をプールすることでバックエンドのRDSの負荷を軽減しつつ、コネクシ
【Python/AWS】第3回 AmazonComprehendを使ってテキストデータを感情分析する【データ分析】
# 1. はじめに
本記事は【Python/AWS】の第3回として前回に引き続き、
AWSのサービスを利用した一連のデータ分析の続きとなります。**▼前回の記事はこちら▼**
https://qiita.com/kawanago_py/items/aabbe6c6d129c915f2ad
私自身、AWSのサービスを触るのは初めてだったので、
細かい説明など不足する点はあるかと思いますが、
大まかな流れをこちらで解説していきたいと思います。本分析の全体像は以下のようになります。
全体の分析目的は以前の分析から継続/発展して、
**「Splatoon3」におけるコンテンツのユーザー満足度調査** です。収集したデータから
Azure P2S VPN接続とS2S VPN接続を共存させる
ポイント対サイト(P2S)VPN接続をしているAzure VPN Gatewayに対して、AWSとサイト対サイト(S2S)VPN接続を検証しました。
最終系であるActive-Active構成については、[公式手順](https://docs.microsoft.com/ja-jp/azure/vpn-gateway/vpn-gateway-howto-aws-bgp)で実施できますが、今回は最初にActive-StandbyでS2S VPN接続を行い、その後Active-Activeに切り替えます。
そのときのP2S接続が切断されるのか、そのまま利用できるのかという観点で書き残したいと思います。# ポイント対サイトVPN接続
## 仮想ネットワーク作成
* まずは仮想ネットワークとサブネットを作ります。仮想ネットワークは/24で、サブネットは/27を1つ準備しました。
* 作成されたらゲートウェイサブネットを作ります。仮想ネットワーク画面から[サブネット]→[ゲートウェイサブネット]の順に選択します。
にすることで利用開始できます。
有効にしてからデータを収集・分析を置こうので最大12時間かかる場合があります。
結果はダッシ
NATゲートウェイを作成する
# NATゲートウェイを作成する
AWSマネジメントコンソールにログインしてください。
VPCダッシュボードを表示してください。
[NATゲートウェイ]をクリックしてください。
NATゲートウェイのページが表示されます。
[NATゲートウェイを作成]をクリックしてください。
NATゲートウェイの作成ページが表示されます。
[名前]にお好きな名前を入力してください。
[サブネット]にパブリックサブネットを選択してく
【Python/AWS】第2回 LambdaとS3を利用してデータ取得を自動化する【データ分析】
# 1. はじめに
本記事は【Python/AWS】の第2回として前回に引き続き、
AWSのサービスを利用した一連のデータ分析の続きとなります。**▼前回の記事はこちら▼**
https://qiita.com/kawanago_py/items/68999167adb87001764c
私自身、AWSのサービスを触るのは初めてなので、
細かい説明など不足する点はあるかと思いますが、
大まかな流れをこちらで解説していきたいと思います。本分析の全体像は以下のようになります。
全体の分析目的は以前の分析から継続/発展して、
**「Splatoon3」におけるコンテンツのユーザー満足度調査** です。収集したデータから項目ご
チームプロジェクトでAWS管理(2) – 管理者IAMユーザー
前回の記事に続き、実際に管理者IAMユーザーを生成してみる。生成した管理者IAMユーザーは、Rootユーザーと同じくAWSサービスを管理するために使用できる。
# 管理用IAMユーザー作成
### IAMユーザー作成画面に移動
上段のナビゲーションバーでIAMを検索し、IAMダッシュボードを開く。
そして、左側のUsersをクリックしてAdd Usersを通して、IAMユーザー追加を開始する。
管理者の役割をするユーザーを追加するため、User nameを[Administrator]と入力し、acc
QuickSightのコンソール画面からのグループ管理に必要な前提操作について
# ＜はじめに＞
今回はQuickSightのグループ管理に関する紹介です。
以前のQuickSightのアップデートにてQuickSightのコンソール画面上からグループの作成・グループへのユーザの割り当てが可能になりました。QuickSightのコンソールから「QuickSightの管理」するとユーザを管理することやSPICE容量の管理をすることが出来ます。
メニューの「グループの管理」を選択した際に、ルートユーザやIAM側のAdministratorのポリシーを持たないユーザは下記の画面が表示されコンソール画面からのグループ管理が出来ない状態となっています。
Railsの`HostAuthorization`を利用し、`/api/health_check`というパスでALBからのヘルスチェックを行おうとしました。
しかし、Railsが`403エラー`を返し、ヘルスチェックが失敗してしまいました。## 原因
Railsの設定は下記のようになっていました。“`environments/production.rb
config.hosts << 'base_domain.com' ``` 原因は、 **「ヘルスチェック時のホスト名が`base_domain.com`でないからエラーになっていた」** というもので
AWS DMSでMySQLからRedshiftへのマイグレーションを試してみる
# はじめに
– MySQLのデータをRedshiftへマイグレーションしたいというニーズがあり、手順について検証してみました。
要件としてはマイナーなのか、あまり情報がなかったので書き起こしておきます。– なお、**テストは小さなテーブルで実施しました**ので、負荷テストの参考にはなりません。
また、他の方への参考のために「エラーのトラブルシュート履歴」を意識的に記載しているため、途中の設定値は正しいものではないことをご了承ください。
# DMSの特徴
– 様々なデータソース（移行元DB）、データターゲット（移行先DB）に対応したマイグレーションサービスです。
– 一度きりの移行だけでなく、継続的にデータを転送することができます。
– 移行元と移行先の間に、「レプリケーションインスタンス」という専用のインスタンスを起動してお
【2022年版】【AWS EC2】Amazon Linux2にMySQLのclientだけをインストールする方法
Amazon Linux2にMysqlClientをインストールする方法です。
対象はEC2 Amazon linux2のx86/64です。“`bash
sudo yum localinstall -y https://dev.mysql.com/get/mysql80-community-release-el7-3.noarch.rpm
sudo yum-config-manager –disable mysql57-community
sudo yum-config-manager –enable mysql80-communityrpm –import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022
sudo yum install mysql-community-client
“`
鍵が古いと警告が出るようですので、`rpm –import`が必要なようです。“`
[ec2-user@hogehoge-ec2 ~]$ mysql –version
mysql Ver 8.0.31 for Linux
ALBのログとログフォーマットを簡単に紐づける
ALBのアクセスログを久々に見るときに、ログの各値ってなんだっけ.. ってなって、各ログの値をログフォーマットと紐づけたいんだけど、なんかめんどくさい..
というときに、これ簡単でした
ほぼスプレッドシートの操作だけでログフォーマットのヘッダーを挿入する感じです– ALBのログをダウンロードして、テキストなどで開く
– スプレッドシートの2行目以降に貼りつける(1行目空けとく)
– スペース区切りで列を分割する
– スプレッドシートで新規シートをつくる
– [Application Load Balancer のアクセスログ](https://docs.aws.amazon.com/ja_jp/elasticloadbalancing/latest/application/load-balancer-access-logs.html)ページを開く
– アクセスログのエントリ -> 構文 のすぐ下にあるテーブル全体をドラッグしてコピーし、スプレッドシートの新規シートに貼りつける
– (※スプレッドシートにフォーマットが崩れるに貼れてること前提)
– 貼りつけたシートのA列全体をコ
