- 1. 【AWS】AWS認定試験「AWS Certified DevOps Engineer – Professional」に合格しました。（ピアソンOnVUEオンラインに超苦戦しました）
- 2. AWSで実現するスタートアップにちょうど良いデータ基盤の作り方
- 3. AWS SAAの合格体験記
- 4. Amazon RDS for Oracle がマネージド Oracle Data Guard スイッチオーバとレプリカの自動バックアップがサポートされるようになりました
- 5. Amazon S3 → Amazon SQS → AWS Lambda を連携する
- 6. Stable DiffusionをAWSのEC2インスタンスで動かすまでの手順
- 7. AWS solution architect professional 攻略
- 8. AWS Cloud Practitioner Essentials モジュール2まとめ
- 9. AWS EC2オンデマンドインスタンスとLightsailの月額料金を比較してみた！※東京リージョンのみ
- 10. 【Athena】バケッティングでコスト削減＆高速化
- 11. aws-cli を v1 から v2 に更新
- 12. 複数アカウント管理のためAWS Control Towerを使ってみた
- 13. Redshift Streaming Ingestion for Kinesis Data Streams（Public Preview）を試してみた
- 14. Amazon Sagemaker Studio Labを試してみる
- 15. Amazon CloudFrontなど
- 16. Dictionaryの紐解き方
- 17. 保存したデータの分析
- 18. AWS 関連メモ
- 19. AWS-CDKで生成されるテンプレート上の論理ID(LogicalID)を自由に書き換える
- 20. AWSにおけるDatabricksデプロイメントについてまとめてみた
【AWS】AWS認定試験「AWS Certified DevOps Engineer – Professional」に合格しました。（ピアソンOnVUEオンラインに超苦戦しました）
### 目次
1. [はじめに](#1はじめに)
2. [勉強方法について](#2勉強方法について)
3. [ピアソンOnVUEオンラインについて](#3ピアソンonvueオンラインについて)### 1.はじめに
皆さんこんにちは、奥平です。
今回はAWS認定試験「AWS Certified DevOps Engineer – Professional」に合格した内容となります。### 2.勉強方法について
私の勉強方法は問題集の熟読だけをやりました。
※業務にてAWS上の知識習得を行っている為
試験落ちる前提で一度試しに試験を受けて、どのような問題が出るかチェックしようと思いましたが、そのまま一発合格しました。
結果オーライです。問題集は下記３件を熟読しました。
１．【Udemy】
・AWS認定 DevOpsエンジニア – プロフェッショナル (DOP-C01) 模擬試験
「模擬試験 – 1 ～4」を熟読していました。２．【BenchPrep】
考え方が共通する問題が出ました、無料サンプル問題把握していた方が良いですね。
https://dev.classmetho
AWSで実現するスタートアップにちょうど良いデータ基盤の作り方
データ活用によって新たな顧客価値を提供したいというニーズが高まっているように思います。
AWSではデータ活用向けのサービスがいくつもあり、ソフトウェアエンジニアはそれらを適切に選択し、データ活用の土台となるデータ基盤を作る必要があります。
本投稿では、Global Mobility Serviceのデータ基盤を例にし、AWSで実現するデータ基盤について紹介します。
コストとパフォーマンスのバランスが取れていて、スタートアップにちょうど良いデータ基盤だと思います。
今回の内容を通して、技術選定のヒントになれば幸いです。# 概要
データ基盤の構築にあたっては、データを収集する、変換する、可視化するといったプロセスに応じてデータを扱う環境を分けることをオススメします。
環境を適切に分けることで、データの出どころが分かりやすくなるため、データの品質をコントロールしやすくなります。
全体のシステム構成イメージとしては以下の通りです。の資格を取得しました。
この記事では資格取得までの学習方法と感想について書きたいと思います。## 前提
元々ITインフラ系のアルバイトをしていた経験があり、特にVPC, EC2, IAM, RDS周りのサービスを検証環境構築の目的で触っていました。## 資格取得に至った経緯
今年の7月からAWS Angel Dojo という AWS 主催のハッカソン企画に参加しています。
チーム内での話し合いで、事前に資格を取得をしておいた方がより良いアーキテクチャ設計をすることができ、優勝に近づくのではないかという話になり、この資格を取得することになりました。## 学習方法
**ここで紹介
Amazon RDS for Oracle がマネージド Oracle Data Guard スイッチオーバとレプリカの自動バックアップがサポートされるようになりました
8/23のアップデートでAmazon RDS for Oracleにおいて、リードレプリカインスタンスに対して Oracle Data Guard の機能であるスイッチオーバのマネージドな実行および自動バックアップがサポートされるようになりました。
（レプリカインスタンスの自動バックアップについては「選択できるようになった」だけなので説明は割愛しますが、レプリカインスタンスの自動バックアップをONにしておかないとスイッチオーバはできないのでご注意ください）― [Amazon RDS for Oracle now supports managed Oracle Data Guard Switchover and Automated Backups for replicas](https://aws.amazon.com/jp/about-aws/whats-new/2022/08/amazon-rds-oracle-supports-managed-oracle-data-guard-switchover-automated-backups-replicas/)
今までのRDS f
Amazon S3 → Amazon SQS → AWS Lambda を連携する
# はじめに
S3のイベントをSQSキューに入れて、Lambdaに渡すまでの操作をまとめました。
# やること
– Lambda関数の作成 → SQS権限設定
– SQSキューの作成 → Lambdaトリガー設定
– S3バケットの作成 → イベント通知設定# 1. Lambda関数の作成
まずはLambda関数を作成します。
関数名：test-202208（任意のもの）
ランタイム：Python3.9その他はデフォルト設定のまま「関数の作成」
## 学習期間
3ヶ月程
## 使用した教材
<書籍>
AWS認定資格試験テキスト&問題集 AWS認定ソリューションアーキテクト – プロフェッショナル
<問題集>
①Web問題集で学ぼう[★★☆]
https://aws.koiwaclub.com/
aws solution architect professionalレベルの問題にアクセスできるプランだと6000円程度と少し値は張るが、実際の問題に近く良い練習になるので、マストで解いておいた方が良いと思われる。
7問1セットで70セットぐらい(500問位)見ることができる。特に後半の#30-70の方を90%取れるまで繰り返して解くと良い。② Udemy問題集[★☆☆]
https://www.udemy.com/course
AWS Cloud Practitioner Essentials モジュール2まとめ
この記事はAmazonが提供する教材「AWS Cloud Practitioner Essentials（日本語字幕）」の初心者によるメモです。
情報に不備がある可能性があります。
本講座は[こちら](https://explore.skillbuilder.aws/learn/home)から.無料です！# クラウドコンピューティング
従量課金製によるインターネット経由でのITリソースのオンデマンド配信# AWSのサービス（一部）
## EC2・周辺サービス
### EC2
ECインスタンスと呼ばれる仮想サーバーをいつでも作成できいつでも削除できる
– インスタンスファミリー
– 汎用
– コンピューティング最適化
グループ単位でデータを処理するバッチ処理など、高パフォーマンスプロセッサの恩恵を受けるタイプのワークロードに最適
– メモリ最適化
高性能データベースなど、メモリ内の大規模なデータセットを処理するワークロードに適している
– ストレージ最適化
ローカルストレージの大規模なデータセットに対する高速シーケンシャルの読み取りおよび書き込み
AWS EC2オンデマンドインスタンスとLightsailの月額料金を比較してみた！※東京リージョンのみ
# AWS EC2 VS Lightsailの料金とスペック
EC2とLightsailでは、可用性、耐久性などのさまざまなメリットデメリットが存在するが、今回は、スペックおよび月額料金・１時間あたりの時間料金を比較する。
# AWSのEC2とは？
Amazon Elastic Compute Cloud (Amazon EC2) は、500 以上のインスタンスと、最新のプロセッサ、ストレージ、ネットワーク、オペレーティングシステム、購入モデルを選択でき、ワークロードのニーズに最適に対応できる、最も幅広く、最も深いコンピューティングプラットフォームを提供しています。私たちはインテル、AMD、Arm の各プロセッサに対応した初めての大手クラウドプロバイダーであり、オンデマンドの EC2 Mac インスタンスを備えた唯一のクラウドであり、400G bps のイーサネットネットワークを備えた唯一のクラウドです。機械学習のトレーニングでは最高のコストパフォーマンスを実現し、1 つの推論インスタンスあたりのコストもクラウドの中では最も低く抑えられています。他のどのクラウドよりも多くの SAP
【Athena】バケッティングでコスト削減＆高速化
# バケッティングとは
Athenaでは費用を抑えつつ、クエリの高速化を図るための代表的な手段としてパーティションがあります。
しかし、パーティションに加えてバケッティングというやり方もあるのでそのやり方と注意点を記載しておきます。バケッティングというとS3のバケットが出てくるかもしれませんが、それとは全く別の概念です。
CTASでパーティション分割してテーブルを作成する際のデメリットとして100個のパーティションまでしか作成出来ないというデメリットがあります。これは[一応INSERT文などでなんどもなんども実行](https://docs.aws.amazon.com/ja_jp/athena/latest/ug/ctas-insert-into.html)すればなんとかなるという事はあるのですが、かなり実行コストがかかります。# バケッティングのメリット
>CTAS クエリ結果のバケット化は、カーディナリティが高く、値が均等に分散されている列によってデータをバケット化するときにうまく機能しますhttps://docs.aws.amazon.com/ja_jp/athen
aws-cli を v1 から v2 に更新
aws コマンド を v1 から v2 する機会があったのでメモ
## 環境
– EC2 Amazon/Linux## 対応内容
※環境によって表示されるバージョンなど異なります
“`console
# 現在のバージョンの確認
$ aws –version
aws-cli/1.11.30 Python/2.7.18 Linux/4.14.177-107.254.amzn1.x86_64 botocore/1.12.172# 更新
$ sudo yum update aws-cli# バージョンの確認
$ aws –version
aws-cli/1.18.107 Python/2.7.18 Linux/4.14.177-107.254.amzn1.x86_64 botocore/1.12.172# aws-cli コマンドの削除
$ sudo yum remove aws-cli# バージョンの確認
$ aws –version
１）結果が表示されない場合は 【成功】 > 「v2 インストール」に進む
２）結果が表示された場合は 【失敗】 > pip
複数アカウント管理のためAWS Control Towerを使ってみた
# 結論
1つの画面で複数アカウントを管理できるため利用するに越したことはない。
# 構築手順
##### ①AWSマネージメントコンソールにログイン
##### ②AWS Control Towerを開く
##### ③ホームリージョンの設定
– アジアパシフィック(東京)を選択
の記事でKinesis Data Streamに蓄積されたストリーミングデータをRedshiftで接続して参照することが発表されました。
今回は、この機能を実際に試してみたいと思います。:::note info
以下の前提となっている。
– 本機能は**2022年8月23日現在でパブリックプレビューとなります。** そのため、GAまでに変更される可能性があります。
– クラスターのバージョンが1.0.35480 以降であること。
:::# まとめ
– 現在パブリックプレビュー。
– Redshiftのマテリアライズドビューの仕組みを利用して、ストリームデータのある時点の断面をRedshiftで参照できる。
– KDF→KDF→S3→COPY（もしくはSpectrum
Amazon Sagemaker Studio Labを試してみる
# はじめに
[Amazon Sagemaker Studio Lab][link-2]はAWSが提供している**無料**の機械学習開発環境です。
そもそも[Amazon SageMaker][link-1]とは、機械学習で必要となるプロセス(データ準備・モデル構築・トレーニング・デプロイ等)をフルマネージド型で提供するサービス群のことであり、Amazon SageMaker Studio Lab はそんなAmazon SageMaker内のサービスの一つです。マネジメントコンソール上からは以下のリンクから飛べます。
本サービスは**勉強・研究目的のみ利用可能**となっています。本番環境での利用はできません。また、アカウントを他人と共有したり、仮想通貨マイニングを行うなどの利用はできません。
# 利用するメリット
私が思う利点は以下の
Amazon CloudFrontなど
# Amazon CloudFrontとエッジサーバー
**Amazon CloudWatch**とは高速コンテンツ配信ネットワーク（コンテンツデリバリーネットワーク、略してCDN）サービス。**Webコンテンツの配信を高速化する**。S3のWebサイトホスティング機能を有効にして構成したWebサーバーと組み合わせてよく使う。
高速化は、Webサーバーの中身をキャッシュ（前もって用意）する**エッジサーバー**を利用して行う。通常はWebサイトの閲覧者はWebサーバーにアクセスしてページを取得するが、毎回Webサーバーが答えていれはWebサーバーに負担がかかるので、エッジサーバーにキャッシュした内容を返させる古音によって、オリジナルのWebサーバーの負担を低減させる。
エッジサーバーはネットワークの末端近くに置かれ、各リージョンに置かれる。クライアントからアクセスするネットワークの距離が近くなるので、レスポンス速度が早くなる。
# Amazon CloudFrontの料金体系
Amazon CloudFrontは基本的に**データ転送に対して料金がかかる**。
サイトの閲覧者からリクエ
Dictionaryの紐解き方
Boto3 でのお話。
NatGateway を短時間に同じタグ名で立ち上げていて、前のものは削除しているのだが describe すると削除の状態で残ってしまっているので、タグでフィルターしても複数がひっかかってしまっている。
現在、available のものを選択して削除したい、ということで、次の関数に渡すために AllocationId が必要。
Dictionary を紐解くために、以下のコードとした。“`Python
for i in range(10):
nat_gateway_id=response1[‘NatGateways’][i][‘NatGatewayId’]
public_ip=response1[‘NatGateways’][i][‘NatGatewayAddresses’][0][‘PublicIp’]
allocation_id=response1[‘NatGateways’][i][‘NatGatewayAddresses’][0][‘AllocationId’]
state=response1[‘N
保存したデータの分析
# データ分析との連携
S3内のオブジェクトやオブジェクトの中身に対し、**データ分析**を行う機能がある。
**S3 Select**と**Amazon Athena**は、CSVやJSONのような構造化されたテキスト形式のデータに対して、SQLのSELECT文を実行する**クエリ機能**。
**Amazon Redshift Specutrum**も同じ機能だが、大量のデータを処理できる。
# データ分析サービス
Amazon S3には、ログやIoT機器から収集したデータなど、後に分析したいデータも含まれるので、データ分析サービスとの連携が用意されている。
S3 SelectとAmazon Athenaは、S3バケットに格納したデータに対して分析するサービス。一方で、Amazon Redshift Spectrumは、S3バケット以外に置いたデータも分析できる。
## S3 Select
S3 Selectは、S3の機能で保存されている１ファイルのデータに対して、SQLを使って、集計や検索ができる機能。
CSVファイルやJSONの他、ログに使われるApache Parquetフォー
AWS 関連メモ
##### NextでSSGアプリを作成し、CircleCIでS3に自動デプロイする方法
https://nishinatoshiharu.com/next-ssg-circleci-s3/#GitHubCircleCI
##### https対応した独自ドメインのWebサイトをS3 + CloudFrontで運用する手順
https://nishinatoshiharu.com/cloudfront-s3-hosting/
AWS-CDKで生成されるテンプレート上の論理ID(LogicalID)を自由に書き換える
## はじめに
AWS-CDKで生成されるCloudformationテンプレートは`<ユーザーが指定したID>A1B2C3`といった感じで末尾にランダムな文字列が付与される。
通常であれば問題ないが今回DeletionPolicyにRETAINを指定したDynamoDBを含んだStackを更新しようとしたところ、論理IDが変わって(`tableA1B2C3`→`tableX1Y2Z3`)別のDynamoDBのリソースとして認識された。
そのためすでにあるDynamoDBと名前が被っているのでエラーとなりStackが更新できなくなった。## TL;DR
該当のStackを定義しているClassでallocateLogicalIdをオーバライドして独自実装する## 実装例
大体はallocateLogicalIdやmakeUniqueId内の処理を丸コピしたもの
ちゃんと期待通りのものになっているかはデプロイ前にSynthコマンドで要確認“`typescript
import { CfnElement, RemovalPolicy, Stack, StackProps }
AWSにおけるDatabricksデプロイメントについてまとめてみた
主要クラウドサービス(AWS、Azure、GCP)で動作するDatabricksですが、AWSでデプロイする際には自分でVPCの構成を決めたり、PrivateLink構成を選択することができます(他のCSPでも順次対応しています)。
その分、「どの構成にしたらいいのか？」と迷うこともしばしばです。これまでに少なくとも10以上のDatabricksワークスペースをデプロイしてきた経験を踏まえて、記事にまとめてみました。
# AWSにおけるDatabricksデプロイメントの方法
方法としては以下の2つがあります。
1. Databricksアカウントコンソール(GUI)
1. Account API(REST API)設定自体を自動化するツールには以下の2つがあります。サインアップした際のデフォルトのデプロイメント手段はAWS QuickStartになっています。
1. [AWS QuickStart](https://qiita.com/taka_yayoi/items/c53beee557ae4a9643ac)
1. [Terraform](https://qiita.
