- 1. 2022年6月時点 AWSタグLGTMランキングTOP50
- 2. DynamoDBのデータをPartiQLでお手軽にCSVエクスポートする
- 3. lambda-uploaderでResourceConflictExceptionが発生する時の対処
- 4. AWS CDK構築備忘録②(ALB+ECS+Aurora)
- 5. 【AWS EC2】【RHEL8.6】Zabbix6.0構築（MySQL/Apache）
- 6. EC2からmysqlでRDSに接続する
- 7. 【備忘録】AWS実装の要点まとめ
- 8. いろんなことに引っかかりながらAPI Gateway⇔Lambdaを試す
- 9. AWS Lambdaのトリガーについて
- 10. AmazonのURLをひたすら登録するだけのAPIをLambda Function URLsでつくった
- 11. 【AWSのセキュリティ対策】導入しやすい対策をまとめました。
- 12. Neptune MLのQuickStartを動かすために必要な事前準備
- 13. AWS Security Hub を有効化する
- 14. Unreal Engine5の専用サーバーモードでTPSのテンプレートを動かす
- 15. ? AWS認定 機械学習専門知識の兄です。真実(学習方法)をお話しします。
- 16. Amazon EC2を使ってNginxを起動する
- 17. インフラ構成について復習と予備知識
- 18. 開発/検証環境はFargateSpotを使いましょう
- 19. Lambdaでデータベースプロキシが勝手に付与されるので調査してみた
- 20. クラウド実務経験なしエンジニアによるAWS SOA合格体験記（ラボ対策）
2022年6月時点 AWSタグLGTMランキングTOP50
|タイトル|投稿日|LGTM|コメント数|URL|
|—|—|—|—|—|
|クラウドエンジニア(AWS)ロードマップ2021|2021-05-10T18:25:29+09:00|2686|1|https://qiita.com/KurokawaKouhei/items/4e9aa3b526f3f233bf85|
|【AWS初心者向け】AWS学習方法まとめ【15時間で達成できる】|2020-11-26T13:21:26+09:00|1162|0|https://qiita.com/toma_shohei/items/b7a001d26bd988d52021|
|5歳娘「パパ、レンタルサーバを契約しないで？」|2021-02-21T22:18:04+09:00|974|25|https://qiita.com/Yametaro/items/a186525e7c2960e2ae99|
|【図解】初心者が知っておきたいサーバ周りの仕組みの話|2021-03-22T14:37:48+09:00|770|16|https://qiita.com/mi-1109/items/a
DynamoDBのデータをPartiQLでお手軽にCSVエクスポートする
DynamoDBのデータをちょっとCSVで引き抜きたいってとき、色々方法はありますがマネジメントコンソールから一番手っ取り早くやる方法を紹介します。
# 項目を探索してエクスポート
DynamoDBのマネジメントコンソールからテーブルをスキャンorクエリすることで得られた結果をCSV形式でダウンロードできます。
ただし、このやり方には注意点があり**今ページ上で読み込まれた分のデータ**しか出力してくれません。
「次のページを取得」が表示されなくなるまでポチポチ押していかないとすべての結果が得られず、少ないデータならこれでもいいのですが量が多いと難儀します。
# PartiQLエディタを使ってエクスポート
こっちが本題です。
PartiQLエディタではSQLに似た構文を使ってDynamoDBをクエリすることができます。
https
lambda-uploaderでResourceConflictExceptionが発生する時の対処
## 事象
lambda-uploaderを実行した際に以下のエラーが発生していた。“`
ResourceConflictException: An error occurred (ResourceConflictException) when calling the UpdateFunctionConfiguration operation: The operation cannot be performed at this time. An update is in progress for resource
“`## 原因
2019/11/27 lambdaの仕様が変更された。
https://aws.amazon.com/jp/blogs/compute/tracking-the-state-of-lambda-functions/
おそらく、これが原因で、lambda-uploaderコマンドにて実行時ResourceConflictExceptionが発生するようになった。
以下のPRで問題解消されており、v1.3.1(2022/4/16)としてリリース
AWS CDK構築備忘録②(ALB+ECS+Aurora)
# 内容
下記の構成をCDKで構築します。
* VPC
VPC、サブネットを作成します。作成した情報を他のスタックからクロススタック参照出来るようにします。* Route53
ECSスタックの中で既存ホストゾーンにALBのAレコード(Alias)を追加しています。* ALB,ECS
aws-ecs-patternsというモジュールがあります。こちらは一般的な構成パラメータがデフォルト値となっており、少ないパラメータでECSを構築することが可能となります。こちらをベースにコードをカスタマイズしていきます。ALBもこの中で作成されます。nginxのイメージを使用します。https://docs.aws.amazon.com/ja_jp/AmazonECS/latest/developerguide/tutorial-ecs-web-
【AWS EC2】【RHEL8.6】Zabbix6.0構築（MySQL/Apache）
# 前口上
世の中に落ちてるZabbix6.0の記事がなんか微妙に使いにくいので作成。
コンセプト的には、黙ってコマンドを打ちまくれば構築完成する手順にした。# 1 環境
・AWS EC2
・RHEL／8.6
・MySQL／8.0.26
・Apache／2.4.37# 2 構築
“`:基礎情報確認
uname -a ; id -un
cat /etc/redhat-release
cat /etc/os-release
“`
XXXXXXXXは好きなホスト名を記述。
“`:ホスト名変更
hostnamectl set-hostname XXXXXXXX
もしくはnmtui
“`
“`:タイムゾーン設定
timedatectl
timedatectl set-timezone Asia/Tokyo
timedatectl
“`
SELinuxは黙って無効化。
“`:SELinux無効化
getenforce
cat /etc/selinux/config
sed -i -e ‘s/SELINUX=enforcing/SELINUX=disabled/g’ /
EC2からmysqlでRDSに接続する
本記事ではEC2からRDSへPythonを通してアクセスしてみようと思います。
https://dev.mysql.com/doc/connector-python/en/connector-python-installation.html
こちらの記事を参考に進めていきます。
## 前提条件
* Amazon linux
* python3 version=3.7
* MySQLがインストールされている。
## コネクタ/Pythonのインストール
まず次のライブラリをインストールします。
“`
$ pip install mysql-connector-python
“`
次にRDSコンソール上でまずIAMロールを作成します。
https://docs.aws.amazon.com/ja_jp/AmazonRDS/latest/UserGuide/UsingWithRDS.IAMDBAuth.Connecting.Python.html
上記サイトを参考にします。
まずIAMデータベース認証の有効化を行います。これはRDSの「変更」から変更できます。
次にデータベースアクセス用
【備忘録】AWS実装の要点まとめ
# はじめに
この記事はアプリのデプロイの下地となるインフラ構築の`要点`をまとめたものとなります。
実装手順には触れていないのでご了承ください。# 実装環境
作業環境
・macOS Catalina 10.17.5AWS上環境
・`マシンイメージ Amazon Linux 2`
・`インスタンスタイプ t2.micro`# 実装概要図
# 1.VPC
VPCとはVirtual Private Cloudの略であり、その名の通りプライベートなネットワーク空間である。
これを用いることで物理的な世界でいうルーターや機器配線を準備をすることと同等の事が実現できる。
### サブネットの作成
プレフィックス値を`/24`としVPC領域のネットワークを256分割して運用していく
サブネットは2つ作成しそれぞれ`インターネッ
いろんなことに引っかかりながらAPI Gateway⇔Lambdaを試す
# はじめに
[前回](https://qiita.com/kiii142/items/b25e83d505ca049f3df5)Lambdaを使ってみたので
つぎはAPI Gateway との連携できたらいいよね！と思ってチュートリアルやってみようとしたら
初心者すぎていろんなことに引っかかったという記事です。
丁寧な公式チュートリアルはこちら
+ [API Gateway の開始方法](https://docs.aws.amazon.com/ja_jp/apigateway/latest/developerguide/getting-started.html)Lambda関数はどうしてもpythonで書きたかったので
公式チュートリアルからはちょっと外れてそこの処理だけpythonで書くこととします。
最初に手順を一通りなぞった後に、私が引っかかったポイントについてまとめていこうと思います。# 公式のステップに則った手順
## ステップ 1: Lambda 関数を作成する
+ Lambdaのページに行き、「関数の作成」ボタンを押す
+ 「一から作成」を選択。「関数名」に適
AWS Lambdaのトリガーについて
## Lambdaについて
AWS Lambda（以下Lambda）はサーバレスコンピューティングサービスです。 オペレーティングシステム（以下OS）などのインフラストラクチャの管理が不要で、利用者はプログラムコードを準備し、Lambdaにアップロードするだけで実行できます。
## トリガーとは
トリガーはLambdaを実行するきっかけです、もちろん手動で実行できますが自動で実行も出来ます、それは色々の方法あります。
これは普通の作成したlambdaです、画面で左側は「トリガーを追加」オプションがあります、それをクリックすると色々選べます。選べるオプションの中にちょっと説明します。
## s3
S3にファイルが置かれた時に自動でLambdaを実行できます。
設定画面はこちら
AmazonのURLをひたすら登録するだけのAPIをLambda Function URLsでつくった
# はじめに
この記事はLambda(Function URLs)とDynamoDBと連携させる内容となっています。
前回の記事の続きとなっているため同様の手順は省略しています。GoでLambda Function URLs ハンズオン
https://qiita.com/tkhs1121/items/b1e332acdbc50fad8c45# 環境
MacBook Air M1
開発言語 Go# 追加で必要なパッケージのインストール
“`
go get -u github.com/aws/aws-sdk-go
“`# ソースコード
“`main.go
func HandleRequest(ctx context.Context, payload Payload) error {
url, err := parseRequest(payload)
if err != nil {
return err
}
isAmazonURL, err := checkAmazonURL(url)
if err != nil {
return err
}
i
【AWSのセキュリティ対策】導入しやすい対策をまとめました。
– AWSのセキュリティ対策で簡単に導入できて効果が大きいものをまとめました。
– 完璧ではないけど、一通りのリスクに対応することを目指しています。
– 管理者用のweb(管理画面)の対策は、awsに関係がない対策も書いています。# awsアカウント, iamユーザーの権限、アクセス制限
### awsアカウントの2段階認証を有効化する。
– [AWS での多要素認証 (MFA) の使用](https://docs.aws.amazon.com/ja_jp/IAM/latest/UserGuide/id_credentials_mfa.html)
– [【AWS】 MFA（2段階認証）の有効化](https://qiita.com/s_Pure/items/76011e67e9a10c7c195c)### 各awsアカウントには最小限の権限を付与する。
– [最小権限実現への4ステップアプローチ 前編](https://aws.amazon.com/jp/blogs/news/systematic-approach-for-least-privileges-jp/)###
Neptune MLのQuickStartを動かすために必要な事前準備
Neptune MLをちょっと試してみたいなと思ってドキュメントを見ているとQuickStartのページにCloudFormationが置かれています。
https://docs.aws.amazon.com/ja_jp/neptune/latest/userguide/machine-learning-quick-start.htmlここを一通り触ってみたら概要掴めるかなと試してみたのですが、色々なところで躓いたのでその時の作業メモです。
ML系を試すにはQuickStartでもそれなりにリソースを要求されるのですが、自分の勉強用に新しく立ち上げたAWSアカウントだとサービスクォータがかなり小さく設定されている場合があり、上限緩和申請を出さないと先に進めない場面が何度かありました。
“`
CFnスタックを作成してインスタンスを起動する
→ 少し試す
→ 上限エラー
→ 上限緩和申請を出して適用されるまで一旦スタックを削除
→ 再トライ
“`
というフローを何度か繰り返したので結構心が折れそうでしたね。。NeptuneのDBインスタンスもSageMakerのNot
AWS Security Hub を有効化する
# はじめに
AWS Security Hub の機能の中に、AWS が考えるセキュリティのベストプラクティスに沿っていないものを検出してくれる機能があります。例えば、Security Group が不用意に開放されしまっていることや、S3 Bucket が Public 公開されている点を検出してくれます。自分たちでリソースを一つずつ確認していくのは大変な作業なので、セキュリティ対策の第一歩目として検出結果から検討をしていくことも出来ます。
AWS Security Hub を有効化する手順を、1ステップずつ載せていきます。
# 検出結果の例
AWS Security Hub を使うと、セキュリティのベストプラクティスに沿っていないものを自動検出できます。次の画像が、検出結果の例です。
Unreal Engine5の専用サーバーモードでTPSのテンプレートを動かす
# はじめに
とりあえず素人ながらUnrealEngine5を触ってみたいとなりサーバーを立てて見ました。今回のゴールは、TPSのテンプレートをAWSに立ててオンライン通信をするところまでです。まず以下のリンクをとても参考にしたので興味のある方は一緒に読んでいただけると良いと思います。
– [AWSのブログ](https://aws.amazon.com/jp/blogs/news/compiling-unreal-engine-4-dedicated-servers-for-aws-graviton-ec2-instances/)
– [UnrealEngineのチュートリアル](https://docs.unrealengine.com/5.0/ja/setting-up-dedicated-servers-in-unreal-engine/)# 環境
– Windows11 21H2
– UnrealEngine 5.0.2
– Visual Stadio 2019 (UE5が推奨しているバージョンのため2019)# Epic LauncherからインストールしたU
? AWS認定 機械学習専門知識の兄です。真実(学習方法)をお話しします。
# はじめに
この記事では、[AWS認定機械学習–専門知識 (AWS Certified Machine Learning – Specialty)](https://aws.amazon.com/jp/certification/certified-machine-learning-specialty/)の受験にあたり、自分自身が学習・活用したコンテンツをだらだらと書いていきます。
他の認定を含めた受験の経緯などは[別記事](https://qiita.com/k_su21652/items/6e9ec7bee0f8efaf9165)をご覧ください。# AWS認定機械学習–専門知識 とは
こちらは公式サイトよりそのまま拝借します。> この資格は、組織がクラウドイニシアチブを実装するための重要なスキルを持つ人材を特定して育成するのに役立ちます。
> AWS Certified Machine Learning – Specialty を取得すると、AWS で機械学習 (ML) モデルの構築、トレーニング、チューニングおよびデプロイに関する専門知識を認定します。https:/
Amazon EC2を使ってNginxを起動する
# はじめに
EC2インスタンスをWebサーバ化するべく、Nginxをインストールして起動するまでのやり方をまとめました。# やること
– Nginxをインストール
– デフォルトページをブラウザで確認
– Hello,World!を表示? Webサーバー選定についてはこちらの記事を参考にしました。
> 参考：ApacheとNginxを比較！それぞれのメリット・デメリットを解説# 環境
– EC2インスタンス
– Amazon Linux 2 AMI, SSD Volume Type
– t2.micro
– 64 ビット (x86)EC2インスタンスの作成方法に関しては、[こちら](https://qiita.com/zanigani/items/3c72359c0642521b7021)に記事を書きました。
# 1. EC2インスタンスに接続
“`
$ ssh -i キーペア名.pem ec2-user@パブリックIP
“`# 2.
インフラ構成について復習と予備知識
## 目的
ポートフォリオを作成して、サーバー構築してデプロイを行いました。
サーバーの構築についての自分用の備忘録です。
また、モダンなサーバー構築の技術について調べました。
誰かの参考になれば幸いです。## 目次
**・インフラ構成図
・NGINXについて
・PUMAについて
・Dockerについて**## インフラ構成図
## NGINXについて
参考記事：[ApacheとNginxを比較！](https://www.geekly.co.jp/column/cat-technology/1903_096/)
**役割**
①WEBサーバー
静的コンテンツはそのままレスポンス、動的コンテンツについてはapplicationサーバーへリクエストを送る
②リバースプロキシ
目的のサーバーに中継する**得られる恩恵**
**→ 表示速
開発/検証環境はFargateSpotを使いましょう
# 概要
`Fargate Spot`はSpotインスタンスのFargate版です。
予期せぬシャットダウンの可能性があるものの、通常の7割引の料金で使えます。
ほとんどの場合、開発/検証環境ではこれが活用可能ではないでしょうか。# 実装
## 1. ECSクラスターに`DefaultCapacityProviderStrategy`を設定
https://docs.aws.amazon.com/ja_jp/AWSCloudFormation/latest/UserGuide/aws-resource-ecs-cluster.html#aws-resource-ecs-cluster–examples“`ECS-Cluster.yml
AWSTemplateFormatVersion: ‘2010-09-09’
Description: ECS cluster
Parameters:
EnvironmentName:
Type: String
Default: stagingResources:
ECSCluster:
Type: AWS
Lambdaでデータベースプロキシが勝手に付与されるので調査してみた
## 概要
Lambdaでデータベースプロキシが勝手に付与される現象が発生したので、調査してみました。## 結論
Lambdaの実行ロールにRDSプロキシ関連のポリシーが含まれていると、勝手に付与されるようです。## 検証内容
### 1. 準備
#### RDSプロキシ
事前にRDSプロキシを作成しておきます。
作成時にIAMロールを作成するように設定をします。
RDSプロキシ作成後にIAMロールが自動で作成されます。#### Lambda
適当にLambdaを新規作成します。### 2. 検証結果
#### Lambdaの実行ロールにRDSプロキシ関連のポリシーが含まれている場合
RDSプロキシ関連のポリシーが含まれている実行ロールに変更してみます。
