- 1. DatabricksのアカウントIDを取得するまでの手順(AWS編)
- 2. AWSにおけるDatabricksを用いたレイクハウス構築を高速に：新たなPay-as-You-Goオファリングの発表
- 3. あえてVyattaのテンプレ使わずに、AWS Site to Site VPNの動的ルーティング(BGP)を設定する
- 4. AWS公式資料で挑むMLS認定(6)-Amazon AIサービスの全体像
- 5. S3×CloudFront を使用したActionTextの画像アップロード・配信方法
- 6. 【初心者】AWS Machine Learning Lensを整理する
- 7. AWS認定 機械学習 – 専門知識（DAS）：合格への近道
- 8. AWSのサービスを単純明快に説明してみる（コンテナ編）
- 9. CloudWatch Synthetics Canary on Terraform で Error: Cannot find module エラー
- 10. AWSをはじめてさわる人向け
- 11. AWS Control Tower の始め方 2022 春
- 12. AWS Fault Injection Simulator触ってみる
- 13. aws cli にてファイルの暗号化・復号を行う
- 14. インフラエンジニアはブルーオーシャンなのか
- 15. [Python] DynamoDBをLambdaから使ってみる
- 16. 【AWS】Elastic Beanstalkで作成されたS3バケットを削除する場合の注意点
- 17. Terraform でクロスアカウントのCodePipeline を最小権限で構築する
- 18. 【初心者】特徴量エンジニアリングについて調べてみた
- 19. AWS認定 機械学習 – 専門知識（MLS）：合格への近道
- 20. API Gateway+LambdaのAPI実行時にMissing Authentication Tokenとなった場合の確認観点
DatabricksのアカウントIDを取得するまでの手順(AWS編)
本書では、これからDatabricksを使い始めるケースで、アカウントIDを取得するまでの手順をまとめています。
:::note info
**注意**
– アカウントIDとはDatabricksのサブスクリプションごとに割り当てられるIDです。
– 本書で作成するユーザーアカウントは[アカウントオーナー](https://qiita.com/taka_yayoi/items/5a117a8bdea67051a0ce)となり、お使いのDatabricksのアカウントで最上級の権限を持つユーザーとなります。ですので、アカウントオーナーの情報は厳密に管理するようにしてください。
:::# Databricksへのサインアップ
1. Databricksのフリートライアルを開始するために、[Databricks 無料トライアル](https://databricks.com/jp/try-databricks)をクリックします。
の翻訳です。
:::note warn
本書は抄訳であり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。
:::データ&AIアプリケーションを加速するというニーズのため、お客さまはお使いのデータレイクハウスを始めるための迅速な手段を必要としています。Databricksレイクハウスプラットフォームは、シンプルかつアクセス可能になるように設計されており、業界にまたがる企業はお使いのデータ全てからクイックにメリットを得ることが可能となります。
あえてVyattaのテンプレ使わずに、AWS Site to Site VPNの動的ルーティング(BGP)を設定する
AWS Site to Site VPN を設定する際、Vyattaの動的ルーティング(BGP)用の設定ファイルテンプレートをダウンロードして楽に設定することもできるが、あえて手動で設定してみる。
Vyattaと書いてますが、VyOS1.3を使っています。
まず、Genericでテンプレートをダウンロードしておく。以降、設定値は基本的にこのファイルから拾っていく。
## IKEの設定
ここはコピペでOK
“`
set vpn ipsec ike-group AWS lifetime ‘28800’
set vpn ipsec ike-group AWS proposal 1 dh-group ‘2’
set vpn ipsec ike-group AWS proposal 1 encryption ‘aes128’
set vpn i
AWS公式資料で挑むMLS認定(6)-Amazon AIサービスの全体像
##### [前回] [AWS公式資料で挑むMLS認定(5)-機械学習手法のまとめと比較](https://qiita.com/mingchun_zhao/items/91cc59f69860f12e7638)
## はじめに
今回から、Amazon AIサービスの勉強です。
まずは、Amazon AIサービスの全体像から。## 勉強に使用する教材
下記AWS公式ドキュメントを参照しながら進めます。
– AWS Black Belt Online Seminar
– ユーザーガイド
– デベロッパーガイド
– チュートリアル
– よくある質問
– AWSナレッジセンター
– APIリファレンス## Amazon AIサービスの概要
– AWSの事前トレーニング済みAIサービスは、アプリケーションやワークフローですぐ使えるインテリジェンスを提供
– AWSのAIサービスをアプリケーションと簡単に統合できる
– Amazon.comおよびAmazon社のMLサービスと同様の深層学習技術を使用
– ビジネスメリット
– 継続的な学習によりAPIの品質と精度が得られる
S3×CloudFront を使用したActionTextの画像アップロード・配信方法
# はじめに
ActionTextから登録された画像や添付ファイルはデフォルトだとサーバー内のローカルディスクに保存されます。
大容量のファイルが溜まり続けた場合、サーバがいつかキャパオーバーになってしまう懸念があります。
そこで、ActionTextから投稿された画像の保存先を、ローカルディスクから`Amazon S3`に変更しストレージ容量を確保し、高速コンテンツ配信サービス（CDN)である`Amazon CloudFront`を使用して、配信を行う構成を実装してみたいと思います。
—
【環境】
・ AWS（EC2, S3, CloudFront, IAM etc.)
・ Ruby 2.7.3
・ Ruby on Rails 6.1.5:::note warn
**ActionText**を使用するには、Railsバージョン６系以上が必要です。
:::[Action Text の概要](https://railsguides.jp/action_text_overview.html)
AWS認定 機械学習 – 専門知識（DAS）：合格への近道
# AWS認定 機械学習 – 専門知識（DAS）に向けて、下記の通り対策すれば合格できます！
AWS DASは、モダンな開発技術とも言える **「データレイク・データウェアハウス・データ分析基盤」** が対象となります。
このような現場を経験している方は少ないと思うため、非常に価値ある資格かと思います。
市場価値を上げるためにも、是非とも取得して欲しい資格の一つです！「１」「２」「３」の順番で取り組んでください。実際にこの順序で学ぶことで、現場にも生かすことができます！
[1. AWSのサービスを実際に手を動かして学ぶ](#1-awsのサービスを実際に手を動かして学ぶ)
[2. 問題集を解く](#2-問題集を解く)
[3. 書籍を読む](#3-書籍を読む)# 1. AWSのサービスを実際に手を動かして学ぶ
初めの勉強は、本試験に出題されるAWSサービスをマネジメントコンソールから学んでください。
いきなり、問題集や書籍から始めると挫折する可能性が高いです。
よく出題されるAWSサービス(実際の業務でもよく利用される)は下記7つであり、
これらを理解することで、**「データレイ
AWSのサービスを単純明快に説明してみる（コンテナ編）
巷ではAWSさんのサービス説明文が難解だと話題です。
これは私も思ってました（笑）https://www.itmedia.co.jp/news/articles/2205/10/news123.html
AWSの各サービス、冒頭の説明文見てもどういうものなのか全然わからなくない？
もしAWSがカップラーメン発売したらこんな感じの紹介してると思う。 pic.twitter.com/4ZoxjQdUUk— Kazuya Gokita (@kazoo04) May 9, 2022
そこで、わかりやすく説明してみようと思います！
## Amazon Elastic Container Registry
**Docker Hub**のAWS版
## Amazon Elastic Container Service (ECS)
AWS版のコンテナ動作環境の**コントロールプレーン**
コンテナ動作環境はEC2/Fargate/ECS Anywhereから選択## Amazon ECS Anywhere
**ECSのコンテナ実行環境**の一つ。**オンプレに構築**しAWS上のECSコントロールプレーンで管理
## Amazon Elastic Kubernetes Service (EKS)
AWS版の**Kubernetes**をク
CloudWatch Synthetics Canary on Terraform で Error: Cannot find module エラー
# 課題
CloudWatch Synthetics Canary の設定を Terraform で構築すると次のエラーに遭遇。# エラー
“`
ERROR: Canary error:
Error: Cannot find module ‘/opt/nodejs/node_modules/pageLoadBuilderBlueprint’
Require stack:
– /var/task/index.js
– /var/runtime/UserFunction.js
– /var/runtime/index.js Stack: Error: Cannot find module ‘/opt/nodejs/node_modules/pageLoadBuilderBlueprint’
Require stack:
– /var/task/index.js
– /var/runtime/UserFunction.js
– /var/runtime/index.js
at Function.Module._resolveFilename (internal/modules
AWSをはじめてさわる人向け
# はじめに
AWSでLAMPを使い始めるので，手順をまとめておく．
今回は公式ページに則ってやった．https://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/ec2-lamp-amazon-linux-2.html
# サーバ（インスタンス）をたてる
AWSのアカウントを作成してログイン1．右上にある地域を東京にする
2．仮想マシンの起動をクリック
3．サーバの名前を決める
最初に Control Tower を設定するホームリージョンを指定します。ランディングゾーンの作成中に一部のリソースがホームリージョンでプロビジョニングされます。ランディングゾーンの作成後、ホームリージョンは変更できませんのでご注意ください。
で、ファイルの暗号化(復号)を行う
「aws kms」コマンドでファイルの暗号化は可能だが、ファイルサイズ制限がある。
awsサポートに「容量の大きいファイルをEC2(linux)環境で暗号化したい」と問い合わせた所、「aws-encryption-sdk-cli」を勧められた。
(暗号鍵は、kmsで管理し、暗号化(復号)は、aws-encryption-cli を使うのがベストプラクティスとのこと)今回は、「aws-encryption-cli」の使用例について記載する。
(前提)
① aws cli のインストールは済。
バージョン：aws-cli/2.4.28 Python/3.8.8 Linux/4.18.0-348.20.1.el8_5.x86_64 exe/x86_64.rhel.8 prompt/off (「aws –version」コマンドで確認)② aws-encryption-sdk-cliはインストール済。
バージョン：aws-encryption-cli –version (「aw
インフラエンジニアはブルーオーシャンなのか
インフラエンジニア5年ほどやってます。
最近SNSとかで話題になっていたので、終止符を打ってやるくらいの気持ちで書きます。
結論からいうと、**インフラエンジニアはブルーオーシャンではないです。**## インフラエンジニアとは
アプリケーションというものはネットワーク、サーバー、ストレージ（ディスク）
などの基盤（インフラ）の上で成立します。
このインフラを構築したり、運用する人のことをインフラエンジニアといいます。インフラエンジニアといってもいろいろな種類があります。
**・サーバエンジニア**
**・ネットワークエンジニア**
**・DBエンジニア（アプリより）**更にその中でクラウドかオンプレにわかれて、
また更に以下のようなカテゴリにわけられます。**・設計/構築**
**・1次保守**
**・2次保守（SRE）**## なぜこういう議論が巻き起こったのか
近年AWS等のおかげで認知度があがったからかなと思いました。
元々インフラエンジニアというものの一般的な知名度は低かった印象です。
といっても既存のインフラエンジニア自体がクラウドに流れるだけなので、
[Python] DynamoDBをLambdaから使ってみる
# はじめに
Boto3の公式ドキュメントを参考にしてLambdaからPythonを使ってDynamoDBを読み書きしてみます。
https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/dynamodb.html
https://boto3.amazonaws.com/v1/documentation/api/latest/guide/dynamodb.html
## DynamoDBでテーブルの作成
テーブル名とパーティションキーだけ指定して作成します。
## Lambdaで権限設定
実行ロールをクリックして編集します。
## 結論
S3バケットが作成されていることを知らなかったのが原因でした。
ちゃんと作成プロセスを把握しよう。## ElasticBeanstalkの作成プロセス
[公式ドキュメント](https://docs.aws.amazon.com/ja_jp/ja_jp/elasticbeanstalk/latest/dg/AWSHowTo.S3.html)の記載によると、ElasticBeans
Terraform でクロスアカウントのCodePipeline を最小権限で構築する
# はじめに
クロスアカウトのCodePipeline の構築で、各サービスのロールのIAMポリシーやリソースベースポリシーを最小権限で実装しようとした場合、アカウント間のアクセス制御を、公式のユーザーガイドだけで理解して実装するのは少し難しいのかなと思います。（自分は、詰まりました。）本記事では、クロスアカウントのCodePipeline を最小権限で構築するTerraform のコードとそのパイプライン（ビルドまで。）を図示してみましたので、参考までに、サンプルとして共有しますので、理解する手助けになればと思います。
また、補足として、アカウント間のアクセスを制御している各サービスのロールのIAM ポリシーやリソースベースポリシーについて、簡単に説明をしています。# Terraform で構築する全体構成図
وまず初めに「1」に取り掛かってから、「2」「3」を同時並行で進めてください。
いきなり、「2」「3」から取り掛かると、わけがわからず挫折する可能性があります。※機械学習経験済みのデータサイエンティストの方は「１」を飛ばして、「2」「3」で合格できます。
[1. 機械学習の参考書を一つ読み込む](#1-機械学習の参考書を一つ読み込む)
[2. 問題集を解く](#2-問題集を解く)
[3. AWSサービスや機械学習の意味を理解する](#3-awsサービスや機械学習の意味を理解する)# 1. 機械学習の参考書
API Gateway+LambdaのAPI実行時にMissing Authentication Tokenとなった場合の確認観点
## はじめに
API Gateway + LambdaでAPIを作成して、アクセスした際にタイトルのエラーが発生したので、その際の確認観点を記載します。## エラー内容
– ステータスコード: 403
– エラーメッセージ: Missing Authentication Token## 試したこと
### Missing Authentication Tokenで検索
– 認証情報周りは特に問題なさそうでした。### 403のステータスコードの意味を検索
ウィキペディアによると、以下と書いてあります。> ページが存在するものの、特定のアクセス者にページを表示する権限が付与されず、アクセスが拒否されたことを示すもの。また、サイトの制作者側の設計ミスによる障害やサイトが非常に混雑している時、URLが間違っている場合にも表示されることがある。
Ref:https://ja.wikipedia.org/wiki/HTTP_403
> URLが間違っている場合にも表示されることがある。
とあったので、この観点で確認してみました。
## 原因
– 上記の通り、APIのエン
