- 1. Amazon ECS で実行するコンテナをローカルでテストする
- 2. 【DVA対策】EC2フリートとスポットフリートについて
- 3. データウェアハウス層について整理してみた
- 4. 本番環境(EC2)上でunicornが起動できない時に確認すべきこと
- 5. Amazon Neptuneサーバーレスを作ってみる
- 6. Aurora Serverlessってサーバレスなのはわかるんだけどだからなんやねん。
- 7. Proxmox VE 7 で Amazon Linux 2 を走らせる手順まとめ
- 8. amplify configureでエラーが出た際の対処法
- 9. データエンジニアとして歩みをすすめる道標
- 10. M1 MacでAWS Lambdaへ dockerイメージを cdk deploy すると exec format error になる
- 11. Amazon Cloud上でWindowsファイルサーバーのデータをAmazon FSx for NetApp ONTAPに同期してみた
- 12. 要注意！？本当に怖いCloudFront
- 13. S3 Storage Lens のメトリクスデータを Athena Partition Projection でクエリする
- 14. 俺はベジータ…?(画像類似度)
- 15. 【IaC】AWS CloudFormationとは？
- 16. EC2のネットワーク設定を自動化するDHCPオプションセット
- 17. AWS S3 + CloudFront + 独自ドメインを使った静的サイトの作成方法をめちゃくちゃ詳しく解説する
- 18. 「AWS Amplify Studioではじめるフロントエンド+バックエンド統合開発」 輪読会①
- 19. sam initがWindowsで失敗する場合はパスの文字列設定の上限を変更する。
- 20. cloud front + s3 で静的webサイトの環境構築
Amazon ECS で実行するコンテナをローカルでテストする
# 概要
* Amazon ECS 上で実行するコンテナをローカルでテストする際ってどうしてます？
* すでにご存知の方はバシバシ使われているかもですが、改めて焼き直しということで本ブログを書いていきます。
* 紹介するツールは、こちらの [amazon-ecs-local-container-endpoints](https://github.com/awslabs/amazon-ecs-local-container-endpoints) と [ecs-cli](https://github.com/aws/amazon-ecs-cli/tree/mainline#running-tasks-locally) です。https://github.com/awslabs/amazon-ecs-local-container-endpoints
https://github.com/aws/amazon-ecs-cli/tree/mainline#running-tasks-locally
## ちなみに ECS ってなにもの？
* [Amazon ECS](https:/
【DVA対策】EC2フリートとスポットフリートについて
# はじめに
EC2購入モデルとして「フリート」というモデルがあるらしくまったくわけらからんので試験対策として超ざっくりまとめる# おさらい
– オンデマンドインスタンス：普通のインスタンス
– スポットインスタンス ：中断が発生する可能性があるけどめちゃ安い
# スポットフリート
– 上限価格とインスタンスタイプを設定しておくことで一番安いスポットインスタンスを任意の個数を自動で起動出来る仕組み
– 簡単に言うとめちゃめちゃ安くなるけど、サーバーが落ちる危険性もあり# EC2フリート
– スポットフリートのオンデマンドインスタンスも含めて管理できる仕組み
オンデマンドインスタンス：10個 スポットインスタンス：5個 といった設定ができる
– 簡単に言うとめちゃ安くなるけど、サーバーが落ちる危険性もちょっとあり
# まとめ
- フリートを使うとオンデマンドインスタンスで運用するより、安くなるけど予期しない部分でスポットが落ちて、
サーバー負荷が上がったり、最悪落ちたりするある意味諸刃の剣でもあるモデルという理解で自分の中で納得した
データウェアハウス層について整理してみた
## データウェアハウス層とは
データレイクにある生データを加工したものが置かれている場所
例：自社ECサイトの売上に付け加えて、サイト外での販売、自社外のWebサイトでの販売などの他の売上も結合したデータがある場所
## DWH層を作る手順
### データクレンジング
データクレンジングとは、データの欠損を埋めたり、重複削除や名寄せを行うこと
名寄せとは、複数のデータベースの中から、氏名、住所、電話番号等の情報を手がかりにして、同じ人物や同じ企業のデータを1つにまとめること
データクレンジングは、オリジナルのデータで複数のデータソースを統合できない場合に実施する
理想は大元のデータソースを修正すべきなので、一時的な処置として行う
:::note info
データレイクでは絶対に行わない
:::### スタースキーマの作成
スタースキーマとは、データベース内のデータを整理することで、理解や分析がしやすくなった多次元データモデルのこと
上でunicornが起動できない時に確認すべきこと
# 概要
下記記事を参考に、RailsアプリをAWS上で動かす設定をしていたが、unicornの起動から色々とハマった。
その際の解決方法について。https://qiita.com/gyu_outputs/items/b123ef229842d857ff39#%E3%83%A6%E3%83%8B%E3%82%B3%E3%83%BC%E3%83%B3%E3%82%92%E8%B5%B7%E5%8B%95
# 環境
– アプリ
– ruby 3.0.2
– rails 6.1.4
– mysql 8.0.31– EC2AMI
– Amazon Linux2 AMI## unicorn起動
“`terminal:ターミナル（EC2）
# xx-xx-xx-xxはパプリックIPアドレス
[ec2-user@ip-xx-xx-xx-xx]$ bundle exec unicorn_rails -c config/unicorn.rb -E production -D
“`## エラー発生
“`terminal
master faile
Amazon Neptuneサーバーレスを作ってみる
## 手順
Serverlessを選択
とよばれるもの
– メモリ/CPU/Network容量の最小値と最大値のみ
– Auto Scaling
– クライアントアプリケーションにより生成される負荷に対応してシームレスに実行される。
→ここでいう” 負荷 “とはCPU使用率とDBへの接続数
– Aurora Serverless v1 DB クラスターにアクティブな接続がない場合、容量ゼロ (0 ACU) にスケールダウン
(SecondsUntilAutoPause値:デフォルト5
Proxmox VE 7 で Amazon Linux 2 を走らせる手順まとめ
# Proxmox VE 7 で Amazon Liunx 2 を走らせる手順まとめ
##### 1. ノードのシェルで、ローカルの適当な場所にAWSの公式イメージを落としておきます。
“`
# wget https://cdn.amazonlinux.com/os-images/2.0.20221004.0/kvm/amzn2-kvm-2.0.20221004.0-x86_64.xfs.gpt.qcow2
“`
##### 2. 別途、seed.isoを作って、GUIからアップロードしておきます。詳しくは[こちら](https://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/amazon-linux-2-virtual-machine.html)。
“`
# nano meta-d
amplify configureでエラーが出た際の対処法
「[AWS Hands-on for Beginners AWS Amplify を用いた Web サイトの構築方法を学ぼう](https://pages.awscloud.com/JAPAN-event-OE-Hands-on-for-Beginners-amplify-2022-reg-event.html)」の実施中、
AWS Cloud9で`amplify configure`を実行した際に以下のエラーが発生しました。“`bash
$ amplify configure
Downloading release from https://package.cli.amplify.aws/10.4.0/amplify-pkg-linux-x64.tgz
node:internal/buffer:959
super(bufferOrLength, byteOffset, length);
^RangeError: Array buffer allocation failed
at new ArrayBuffer ()
at
データエンジニアとして歩みをすすめる道標
## データエンジニアリングロードマップ(引用元: [今からはじめる、データエンジニアリング・ロードマップ](https://gihyo.jp/article/2022/10/primenumber-01datamanagement))
## データエンジニアとして最も大切なのは 【分析課題の整理】
– 手段から入ると、使用者に使われない分析基盤が出来上がる
– 目的は何で、誰の、どんな課題を解決するのか、といったゴール設定がとても大切
## 初級データエンジニア
– 前提知識→データの統合、蓄積→データの提供
– 上記が[[最小構成]]で実装できるレベル
– 社内外でメンターや顧問を探して、最短ルートで学びながら失敗の少ないデータ分析基盤ベストプラクティスを身につけること
## 中級データエンジニア
– 初級データエンジニアの領域を、より多く
M1 MacでAWS Lambdaへ dockerイメージを cdk deploy すると exec format error になる
# 現象
M1 MacでAWS LambdaへDockerイメージをcdk deployしたところ、デプロイはうまくいきますが、Lambdaを動かすとexec format error になります。“`
IMAGE Launch error: fork/exec /lambda-entrypoint.sh: exec format error Entrypoint: [/lambda-entrypoint.sh] Cmd: [app.handler] WorkingDir: [/var/task]
“`# 対策
いろいろ調べるとM1 Mac上ではDockerイメージのビルドのデフォルトがArm64になっている（当たり前だが）ためでした。対処法として環境変数を設定してDockerのビルドのデフォルトを変更することもできるらしいですが、それだとコードを他の人に渡したときに同様のエラーを発生させることになるので、Dockerfileに記述するのがいいのではないかと思います。“`Dockerfile:Dockerfile
FROM –platform=linux/amd64
Amazon Cloud上でWindowsファイルサーバーのデータをAmazon FSx for NetApp ONTAPに同期してみた
# NetApp Cloud Syncを使ってWindowsにあるファイルをFSxNに同期
この記事では、[「NetApp Cloud Syncを利用してWindowsにあるファイルをCVOに同期」](https://qiita.com/heyanxia/items/bbad38b3d41c195d3df2)を参考してWindowsにあるファイルをAmazon FSx for NetApp ONTAPに同期できることを検証したいと思います。
# Keyword
* NetApp BlueXPとは？
オンプレミス及びクラウド環境におけるストレージとデータサービスにおいて、シンプルなハイブリッドマルチクラウドを統合管理・運用する為のコントロールプレーンサービスです。* Amazon FSx for NetApp ONTAP(FSxN)
Ama
要注意！？本当に怖いCloudFront
# はじめに
先日、海外向けに運用していた個人ブログがDDoS攻撃を受けてしまいました。
こういったサイバー攻撃は、企業に対して行われるものという先入観がありました。
しかし、調べてみると、最近では個人ブログも標的になってきていると報告があがっていました。
CloudFrontとS3で作成する静的サイトが人気になっており、特にCloudFrontの危険性について紹介したいと思います。# DDoS攻撃って？
ざっくり説明すると、ウェブサイトやサーバーに対して過剰なアクセスやデータを送付するサイバー攻撃です。
インフラストラクチャーレイヤー攻撃(レイヤー3、4)とアプリケーションレイヤー攻撃(レイヤー6、7)の２つに分類されます。ご指摘を頂きましたので、訂正いたします。
厳密には、EDoS攻撃でした。# AWS Shield Standard
AWSを利用した場合、defaultでAWS Shield Standardが適応されます。
Standardでは、インフラストラクチャーレイヤー攻撃に対して自動的に防御してくれます。# AWSでEDoS攻撃を受けた場合
Cloud
S3 Storage Lens のメトリクスデータを Athena Partition Projection でクエリする
# はじめに
S3 Storage Lensの無料メトリクスデータのエクスポートデータをログアーカイブアカウントへ集約し、全アカウント、全リージョンの全バケットのデータをパーティション射影を利用しクエリします。
## FYI
https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/userguide/storage_lens_view_metrics_export.html
https://docs.aws.amazon.com/ja_jp/athena/latest/ug/partition-projection.html
## 前提条件
– 既にダッシュボードが作成済みであること
## 流れ
– ログアーカイブアカウントにバケットを作成する
– メンバーアカウントからログアーカイブ
俺はベジータ…?(画像類似度)
ベジータ。
オレは・・・、ベジータ？
## 背景
みなさん、ドラゴンボールお好きですよね？
私は大のファンで、いまだに原作を読み返しては「舞空術ができないか？」なんて考えてしまいます…。
夏の映画も面白かったですよね。そういえば魔貫光殺砲も練習したことあるなぁなんて思いました。https://2022dbs.com/
幼少期は本気で「ベジータになりたいなぁ」と思っていた私も今年で24歳。どれほどベジータに近づけたのでしょうか？
エンジニアの私は考えたのです。
**よし。Deep Learningを使った画像類似度で、自分の顔がどのドラゴンボールのキャラに似ているか判定しよう**
## 目的
ドラゴンボールのキャラクターの中で、自分が誰に似ているかを判定します。
ざっくりと以下のようなアーキテクチャを組み込
【IaC】AWS CloudFormationとは？
# はじめに
`AWS CloudFormation`とは、テキストファイルからAWSリソースの構築を自動で行うことができるAWSサービスです。
AWSリソースの設定をテキストで書くことができる、所謂Infrastructure as Code(IaC)技術です。
CloudFormationを使えば、今まで手動で作成していたAWSリソースをコード化しデプロイすることで、間違えがなく再現性の高い環境構築を行うことができるようになります。
是非、これを機にCloudFormationへの理解を深め、使いこなせるようになっていきましょう。# 対象読者
– マネジメントコンソール上での環境構築に疲れた方
– 再現性の高い環境構築を行いたい方
– IaC及びCloudFormationに興味のある方# 概要
冒頭でも説明しましたが、CloudFormationは、テキストファイルからAWSリソースの構築を自動でを行うことができるサービスです。
(後述しますがサードパーティリソースも扱えます)
`Amazon EC2`や`Amazon S3`などのAWSリソースの設定を、テキストファイル
EC2のネットワーク設定を自動化するDHCPオプションセット
# はじめに
EC2構築時に“`ipconfig“`コマンドでとれるようなDNS等の設定を一括で設定できる「DHCPオプションセット」について記載します。これはVPCの機能なので、EC2だけでなくネットワーク内は丸ごとお任せになりそうです。# DHCPオプションセットでできること
https://docs.aws.amazon.com/ja_jp/vpc/latest/userguide/VPC_DHCP_Options.html#CreatingaDHCPOptionSet
* ドメイン名の指定：companyname.localのようにサーバー名の後ろにつけるドメインを指定します。
* DNSサーバー：DNSサーバーのIPアドレスを4つまで指定できます。
* NTPサーバー：NTPサーバーのIPアドレスを4つまで指定できます。
* NetBiosサーバー：4つまで指定できます。# 実施方法
VPCのメニューにあるDHCPオプションセットを作成できます。オプションセットを作成したらVPCにアタッチします。# おわりに
EC2を作成するたびにDNS設定をするのは大変
AWS S3 + CloudFront + 独自ドメインを使った静的サイトの作成方法をめちゃくちゃ詳しく解説する
# はじめに
独自ドメインを取得し、AWS S3 + CloudFrontを使って静的サイトを作成していきます。
この記事には以下の内容が含まれます。
– REST APIエンドポイントを用いて、AWS S3 + CloudFrontを使って静的サイトを作成する方法
– 各設定項目についての詳細な説明
– 独自ドメイン（Google Domains）を導入する方法
– DNSSECの設定方法
– DNSレコードについての説明# 独自ドメインを取得する
ドメインを取得するのは何でも構いませんが、この記事では[Google Domains](https://domains.google/intl/ja_jp/)を使用します。各レジストラの指示に従って欲しいドメインを購入してください。# 独自ドメインをAWSに追加する
1. Route53のダッシュボードに移動し、「ホストゾーン」をクリックします。
の基本を習得している
– Figmaによる簡易的なデザインができる
– Figimaから簡易的なプロトタイピングができる
– 皆、仲良くなって新たなコミュニティができる、コミュニケーションが生まれる☺️全体方針
– 他人を攻撃しない、互いにリスペクトする
– しょぼくてもアウトプット中心
– Qiitaなど
:::note info
Qiitaは活動記録を投稿予定。各自、纏めたければ纏めてQiitaへ投稿。強制はしない。各会は録画してYoutube限定公開するかも。
:::
– 1冊はやりきりたい(全部やらなくても必要そうなところだけでもよいかも)
:::note info
開催周期は隔週
:::
– Amplify(Studio)以外(例えばJavascriptやReactなど)はそこまで手厚くやらない。
– Chapter3,5,6,7に集中する
– Chapter2 は各自やる
sam initがWindowsで失敗する場合はパスの文字列設定の上限を変更する。
IntellJでSAM Applicationを作成しようとしたときに引っかかったのでメモする
## 起きた事象
sam init を実行しようとしたところ以下のエラーが発生
“`
Cloning from https://github.com/aws/aws-sam-cli-app-templates (process may take a moment)
Error: Unstable state when updating repo. Check that you have permissions to create/delete files in C:\Users\masas\AppData\Roaming\AWS SAM directory or file an issue at h
ttps://github.com/aws/aws-sam-cli/issues
“`エクスプローラーからファイルのパーミッションをいじっても変化がなし
原因はパーミッションではなくWindowsのパスの上限が260文字にデフォルトの制限に引っかかりファイルが認識できないことらし
cloud front + s3 で静的webサイトの環境構築
*この記事はawsハンズオンビギナーズをやってみて復習として作成しています
*途中手順に含んでいませんがS3ウェブサイトホスティング有効状態で映るか、Route53のエイリアスでS3バケット指定して映るか確認しながらやっていただくと、映らなかった時に問題の切り分けがしやすいかと思います。### 1,まずはs3にてバケットを作成
~注意点~
・使用したいドメインと同じ名前でバケット名を設定する
・サイトとして公開するのでパブリックアクセスを許可しておく### 2,プロパティからウェブサイトホスティングの設定をする
