- 1. AWS公式が提供する無料ゲームでAWSについて学べるらしい
- 2. 【AWS】デプロイに使う基礎知識についてまとめてみた
- 3. Redshift Spectrumを試してみた
- 4. AWS CDK v2を使ってさくっとALB×ECS(Fargate)でWebサーバを立ててみた。
- 5. 標準ライブラリurllib request と 外部モジュールrequests をLambdaのコードでそれぞれまとめた
- 6. 【個人開発】『書くこと（ジャーナリング）?』をもとに、感情の分析や習慣化サポートするアプリをリリースしました！！??
- 7. Python seleniumでAWSコンソールのログインを自動化する（PythonでWeb画面のスクレイピングする）
- 8. 【ServerlessFramework】serverless.ymlで利用できる変数のまとめ
- 9. パブクラ上のOracle Database デフォルト初期化パラメータの違いについて調べてみた
- 10. 【AWS】AWS ConfigでS3バケットの暗号化をチェックしてみました
- 11. 【AWS】ECSタスク内でのコンテナ間通信
- 12. CloudFormationでAPI Gatewayのアクセスログで改行コードをいれて、出力したログを改行する
- 13. 【AWS】Linux EC2のCPU使用率を上げる方法
- 14. Redshiftチートシート
- 15. 事業会社が高給を示してもIT人材がいない、応募がない【ポエム】
- 16. AWS Control Towerに必要な初期設定の内容について記載します
- 17. AWS公式資料で挑むSCS認定(18)-模擬テスト
- 18. 銀河麻雀の待ちを判定するWebアプリを作った
- 19. S3における暗号化の種類
- 20. 小ネタ／Aurora MySQL v1/v2 から v3 に移行する際のユーザ権限トラブルについて
AWS公式が提供する無料ゲームでAWSについて学べるらしい
ゲームでAWSが学べるらしいのでやってみます。
# サービス概要
– AWS公式が提供(2022/03/15サービス開始？)
– AWS Cloud Quest: Cloud Practitioner
– プレイヤーはクラウド技術者となり、オープンワールドの街の中を歩き回って問題を抱えている人と出会い、その問題をAWSのソリューションで解決していく
– Webブラウザで楽しめる無料オンラインゲーム
– ゲーム内では本物のAWSのシステムコンソールを用いてソリューションを構築する体験ができるようになっている
– ゲーム内は全て英語https://twitter.com/amazonnews/status/1503820327398383625?ref_src=twsrc%5Etfw%7Ctwcamp%5Etweetembed%7Ctwterm%5E1503820327398383625%7Ctwgr%5E%7Ctwcon%5Es1_&ref_url=https%3A%2F%2Fwww.publickey1.jp%2Fblog%2F22%2Fawsawsaws_cloud_que
【AWS】デプロイに使う基礎知識についてまとめてみた
## AWSでネットワーク・サーバーを構築する
### システムをインフラから構築する
– インフラができるようになるメリット
– 自分でサービスを作れる
– 自分でインフラを構築してサービスをリリースできるようになる。
– 開発する際のテスト環境を自分で作れるようになる。
– システム全体で対応できる
– 障害があったときに、どこに問題があるか、切り分けられるようになる。
– 対応策を考える時、アプリケーションだけでなく、システム全体で対応できるようになる。
– インフラを構築する手順
– ①サーバーの構成
– どのようなサーバーが必要かを考える
– サーバーを設置する
– サーバーのOSをインストールし、各種設定を行う
– 必要なソフトウェアをインストールし、設定する
– ②ネットワークの構成
– 構築したサーバーをネットワークに接続する
– ネットワークで使用するIPアドレスの範囲を決める
– サーバーにIPアドレスを割り当てる
– ドメイン名とIPアドレス
Redshift Spectrumを試してみた
# 背景・目的
Redshiftのドキュメントの手順に倣い、Redshift Spectrum(以降、Spectrumと言う。)を利用する。
# 内容
## 概要
### 特徴
– Redshiftクラスタとは別に、専用のRedshiftサーバがある。
– AWS管理のリソースで実行される。VPCの外にある。
– 以下のような大量の演算を行うタスクをSpectrumレイヤにプッシュする。その結果、クラスタの処理容量は少なくなる。
– 集計処理
– 述語フィルタリング
– クエリの需要に基づいてインテリジェントに拡張する。数千のインスタンスを用いて超並列処理ができる。### カタログとテーブル
– Spectrumはファイル構造を定義して、外部データカタログ内のテーブルとして登録する。
– 以下のカタログが利用可能。
– GlueやAthenaで使用しているカタログ
– Apache Hiveメタストア
– **オプションで、外部テーブルを1つ以上の列でパーティション化ができ、パフォーマンスが向上する。**
– Glueのカタログを利用する場合
AWS CDK v2を使ってさくっとALB×ECS(Fargate)でWebサーバを立ててみた。
初投稿です。お手柔らかにお願いします。
本日はAWSのインフラをコードで管理することでお馴染みの**AWS CDK**（AWS Cloud Development Kit）を利用して、さくっとALB×ECS(Fargate)でWebサーバを構築してみたいと思います。ちなみに自分はCloudFormationはある程度習得済みで、CDK（v1）は少し齧った程度でほぼ忘れています。
# 実行環境
今回は、**Cloud9**（AWSのIDEサービス）の力をお借りします。
* OS : Amazon Linux2 (AL2)
* CDKで利用する開発言語：PythonCDKを利用する場合は、以下の環境を準備しておく必要がありますが、Cloud9(AL2)はすでにすべて揃っている状態で利用できます。
環境を整えるのって地味に面倒なので、大変ありがたいです。
* AWS CLI
* AWS Account and User
* Node.js
* IDE for your programming language
* AWS CDK Toolkit
* Python（開発言語）※2
標準ライブラリurllib request と 外部モジュールrequests をLambdaのコードでそれぞれまとめた
# はじめに
Lambdaでapiにリクエストする際、requestのモジュールが必要でした。
標準ライブラリurllib request と 外部モジュールrequests がありましたので、それぞれまとめます。外部モジュールであるrequestsの方が、コード量が少ないですが、モジュールをアップする手間があります。
ただ、手間と言ってもchalice等を使用することで、手間を無くすことはできます。# 標準ライブラリurllib request
requestsライブラリをデプロイパッケージに含める必要はなく、`import request`するだけでよいです。https://docs.python.org/ja/3/library/urllib.request.html
## GET,POSTの場合
“`py
from urllib import request
import urllib
import json
import os# get
def get_api(event):api = ‘/test’
request_url = os
【個人開発】『書くこと（ジャーナリング）?』をもとに、感情の分析や習慣化サポートするアプリをリリースしました！！??
# ? はじめに
『書くこと（ジャーナリング）』をデジタルで実現し，感情の分析や習慣化しやすいようにサポートするサービス【Mikke（ミッケ）習慣ジャーナリング】をリリース致しました。
本サービスへの概要や想いなどを書きましたので、よければ最後までご覧ください。:::note info
ジャーナリングとは…
「書く瞑想」とも呼ばれ， **頭に浮かんでいることを一定の時間内でただ紙に書いていく**というものです。
:::【サービスURL】
https://a-mikke.com# ? サービスを作った背景 / ✨ サービスに込めた想い
**自分の感情を言語化したり、思考の癖を理解することが苦手なこともあり、人と1対1で話すのが苦手でした。**ある本をきっかけに **『書くこと（ジャーナリング）』を毎日するよう
Python seleniumでAWSコンソールのログインを自動化する（PythonでWeb画面のスクレイピングする）
タイトルの通りですが、Pythonでseleniumを使ってAWSコンソールのログイン処理を自動化したので投稿します。
最近、AWSアカウントを複数利用する（個人用／会社用／顧客用などなど）ケースが増えてきており、さらにパスワードポリシーが様々で大混乱中のため自動化しました(^^;)
いわゆるPythonにseleniumをインストールしてWebスクレイピングする編です。## 想定読者
* AWSコンソールのログインが面倒に感じている人
* Pythonが気になっている人
* Webの自動化に取り組みたい人## 作業時間
約15分
## 作業手順
1. ブラウザのドライバダウンロード
1. Pythonにseleniumをインストール
1. 実装それでは1つ１つ手順を説明します。
### 1.ブラウザのドライバダウンロード
seleniumはブラウザのドライバを使ってWebサイトの操作を自動化します。
ということで事前にドライバをダウンロードします。
今回はChromeのドライバを用意することにします。
Chromeは以下のURLからダウンロードできます。h
【ServerlessFramework】serverless.ymlで利用できる変数のまとめ
serverless.ymlの変数の仕様がどこにまとまっているかわからず、かなり探し回ったのでまとめておこうと思いました。
内容的には公式ドキュメントからよく使いそうなものを抜粋しただけです。https://www.serverless.com/framework/docs/providers/aws/guide/variables
# 基本的な変数の利用方法
まずはじめに、変数の参照には `${}` を利用します。
“`serverless.yml
yamlKeyXYZ: ${variableSource}
“`ちなみに、serverlessの変数は再帰的な参照がサポートされており、変数をネストすることができます。
“`provider
provider:
name: aws
environment:
MY_SECRET: ${file(./config.${opt:stage, ‘dev’}.json):CREDS}
“`# デフォルト値
参照先の変数が存在しない場合にデフォルト値を利用したい場合は `${variableSource, d
パブクラ上のOracle Database デフォルト初期化パラメータの違いについて調べてみた
# はじめに
Oracle Cloud上でDBCS(Oracle Database Cloud Service)を作成した際に、幾つかの初期化パラメータのデフォルト設定値が若干変更されている事に気が付いた。
横並びでDBを比較してみると、DBCSのEdition(Enterprise Edition(EE), EE High-Performance Edition(EE-HP), EE Extreme-Performance Edition(EE-EP))によって初期化パラメータのデフォルト値が若干変更されていることが分かった。
なお、それぞれのEditionの違いによって利用できる機能が違っており、どの機能が利用可能か、等についてはこちらの[マニュアル](https://docs.oracle.com/cd/E96517_01/dblic/Licensing-Information.html#GUID-0F9EB85D-4610-4EDF-89C2-4916A0E7AC87)を参照ください。初期化パラメータの違いについて、マニュアル等も確認してみたが特に記載が見つからなかった
【AWS】AWS ConfigでS3バケットの暗号化をチェックしてみました
# はじめに
AWSを利用するときに、構築したサービスがセキュリティガイドラインに準拠しているかどうかを図れるサービスとして、AWS Configがよく使われています。
本記事は、S3側でバケットの暗号化を有効化していないことを、AWS Configにて検知してもらう設定を試しました。# S3側
S3側であるバケットを作成し、作成時にデフォルトの暗号化を無効と選択します。
# Config側
ルールを追加します。
“s3-bucket-server-side-encryption-enabled`
【AWS】ECSタスク内でのコンテナ間通信
# はじめに
ECSで1つのタスクとして複数コンテナを稼働させ、コンテナ間で通信したいと思った時に上手くできなかった部分と対応を記載します。
ローカル環境で構築した際にはDocker Composeを使用しており、ymlファイルで定義するサービス名を使用してコンテナ間通信をすることができましたが、ECS環境ではIPアドレスでの通信でないと上手くいかなかったため自分なりに調査してみました。# 構成図
はじめにECSで構築した際の構成図は以下のようになります。
* サービスの起動タイプは「EC2」
* タスク定義でネットワークモードを「bridge」
* タスク定義で複数のコンテナを定義
* Nginx
* Gunicorn
* Nginxコンテナについてはポートマッピングによって動的ポートを使用また、Nginx設
CloudFormationでAPI Gatewayのアクセスログで改行コードをいれて、出力したログを改行する
# はじめに
API GatewayのアクセスログをCloudFormationで改行しようと思ったのですが、2日ほどかかりました。。。
分かればあっという間でしたが、ハマっているときは全然わからないのはあるあるですね。
誰かの参考になればと思い、記事を書きます。# 前提条件
・テンプレートファイルはyaml形式
・API GatewayはREST API
・API GatewayのアクセスログはKinesis Data Firehose経由でS3に出力# 改行コードとして認識されたテンプレートファイル
Formatの部分がアクセスログの出力形式の設定箇所になります。
改行コードとして認識させるために`\n`をダブルクォーテーションで囲み、末尾に追加するためにJoinを用いています。“`
Resources:
Prod:
Type: AWS::ApiGateway::Stage
Properties:
StageName: Prod
︙
AccessLogSetting:
DestinationAr
【AWS】Linux EC2のCPU使用率を上げる方法
# 結論
下記のコマンドを実行すれば、EC2を無限な循環グループに陥らせることができます。
よって、CPU使用率も当然上げることになります。
“`
while true; do echo; done
“`
# 実行結果
実行してから間もなく、CPU使用率が100％になっていることを観測できました。
Redshiftチートシート
## 背景・目的
忘れぽいため、RedshiftのコマンドやSQL等をまとめておく。## 内容
### データベース作成
“`
CREATE DATABASE {DB名} WITH OWNER = {ユーザ名}
“`### [COPY](https://qiita.com/zumastee/items/a71b1f6e3266c76f596a)
“`
copy users from ‘s3://{バケット名}/tickit/allusers_pipe.txt’
iam_role ‘arn:aws:iam::{アカウントID}:role/{ロール名}’;
delimiter ‘|’ region ‘ap-northeast-1’;
“`### [UNLOAD](https://qiita.com/zumastee/items/84534883f8ba8ffd0a41)
“`
unload (‘select * from venue’)
to ‘s3://{バケット名}/unload/venue/’
iam_role ‘arn:aws:iam::{アカウントID}
事業会社が高給を示してもIT人材がいない、応募がない【ポエム】
# メンバーシップ型採用をあきらめ未経験者募集で時給5千円でも応募が来ない。一体みんなどこにいるのか・・・
2007年から事業会社の情シスのキャリアを一貫して携わってきたが一時的な出向まで含めるとすでに7社の情シスを経験したことになる。日本を代表する大企業、外資系の日本法人、中堅中小企業と幅広く経験してきた。最近になってとにかく人が見つからないことが課題になっている。4月から、とあるグループの中堅会社の役員に就任しICT事業推進の責任者となる見込みだが自社のみならず、他のグループ内の別会社でも人を探しても探しても見つからず一種のカオスになっている。派遣会社、フリーランス紹介会社に求人募集しても事実上門前払い、無視されたことがだいたい7割~8割くらい。求職者へお支払う時給が4千円や5千円台（コミッションをさらに3割、5割増し）でも全く相手にされない。こんな時代になってしまった。1名ないしは2名程度の情シス（それ自体が多くの企業で問題のはずですが）だとやめてしまって代替人材が見つからないなんてときは特に顕著な問題だと思う。備忘録としてつらつらこういう採用アプローチもあるのではないかと書いて
AWS Control Towerに必要な初期設定の内容について記載します
# はじめに
みなさんControl Tower使ってますか？これはAWSのマルチアカウント環境を一括でまるっと提供してくれるサービスで、通常であれば非常に手間のかかる構築作業の大半をほぼ自動で対応してくれる優れものです。
Control Towerでマルチアカウント環境を構築する方法については以前[こちらの記事](https://qiita.com/hiro-tech1192/items/79bf11b587bcf59b7f66)に記載しましたが、今回は環境構築の後にやる必要がある（と思われる）初期設定の内容について記載したいと思います。# Account Factoryのネットワーク設定
Account Factoryは、Control Tower内に新規アカウントを追加するための機能です。これを使用することで、追加対象のAWSアカウントに対してLanding Zone（べスプラ）に準拠した設定が自動的に適用されます。
また、通常素の状態でAWSアカウントを作成した場合には全リージョンに対してデフォルトVPCが作成されたりするのですが、Account Factoryを使うとこ
AWS公式資料で挑むSCS認定(18)-模擬テスト
##### [前回] [AWS公式資料で挑むSCS認定(17)-Macie](https://qiita.com/mingchun_zhao/items/6941cc760f546c1e76d4)
## はじめに
AWS公式の無料トレーニングコース
[Exam Readiness: AWS Certified Security – Specialty (Japanese)](https://explore.skillbuilder.aws/learn/course/762/play/41659/exam-readiness-aws-certified-security-specialty-japanese)
の最後にある模擬テスト(24問)を解いてみました。
結果見事に不合格、準備不足と判断し認定試験延期する羽目に(24時間前まで変更・キャンセル可)。の管理については、クライアント(ユーザー)が独自に作成したキーを持ち込む、またはAWS KMSによる管理やS3がデフォルトで提供するキーを使うなど、いくつかのオプションがある。SSE＝サーバーサイド暗号化
CSE＝クライアントサイド暗号化
# SSE-S3
S3にて提供・管理される暗号化キー(AES-256)で暗号化する。# SSE-KMS
AWS Key Management Service (AWS KMS) にて提供・管理される。# SSE-C
クライアント(ユーザー)が作成・管理する独自の暗号化キーで暗号化する。# CSE
S3にデータを送る前にクライアント(ユーザー)側で暗号化する方法。
小ネタ／Aurora MySQL v1/v2 から v3 に移行する際のユーザ権限トラブルについて
AWS の Aurora MySQL v1（MySQL 5.6 互換）の EoL 発表によって、v2（同 5.7 互換）または v3（同 8.0 互換）への移行を計画している方もいらっしゃるのでは？と思います。
というわけで、わたしも Zenn のほうに記事をいくつか書きながら調査を進めております。
https://zenn.dev/hmatsu47/articles/aurora-mysql3-001-top
https://zenn.dev/hmatsu47/articles/aurora-mysql3-002-ref-material
https://zenn.dev/hmatsu47/articles/aurora-mysql3-003-ref-aws-01
https://zenn.dev/hmatsu47/articles/aurora-mysql3-004-ref-aws-02
https://zenn.dev/hmatsu47/articles/aurora-mysql3-005-ref-ora-01
https://zenn.dev/hmatsu47/a
