AWS関連のことを調べてみた2022年01月26日

ECS Fargate、Fire Lensを使ってWebサーバーのログを直接S3保存（Terraform）

# 前書き

– 相変わらずノリと勢いで書いてしまっています。（悪い癖だ。。）
– 実際に稼働するものを実装した経験に基づき解説していますが、サンプルコードなどは公式のテンプレからとってきて解説していたりするので違和感・過不足あるかも。ごめんなさい。

[https://registry.terraform.io/providers/hashicorp/aws/latest/docs](https://registry.terraform.io/providers/hashicorp/aws/latest/docs)

# 何をするの

– Fire Lensサービスを使ってFluent BitコンテナをWebサーバーコンテナのサイドカーとして稼働させロギングを任せます。（今回はECS ⇒ S3のパターン）

# 前提

– すでにアプリケーションがECS Fargateへデプロイされている。

# 全体像

関連リソースの作成（S3、Cloud Watch、ECR）
↓
Fluent BitコンテナDockerfileと設定ファイルの実装とECRヘのpush
↓
タスク定義の修正・追

S3 Object Lambdaで大量のテキストを並列加工

## はじめに
– S3 Object Lambdaを使って、大量のテキスト文を並列で形態素解析します。
– 形態素解析については別で[記事](https://qiita.com/sho-jp/items/50243956373f21b1e138)を書いています

## S3 Object Lambdaとは
> S3 Object Lambda を使用すると、クライアントアプリケーションによって S3 からオブジェクトを取得するときに、Lambda 関数を使用してデータを処理および変換できます。


[参照](https://aws.amazon.com/jp/blogs/news/translating-content-dynamically-by-using-amazon-s3-object-lambda)

S3にあるオブジェクトにGetアクセス

[備忘録]初めてのAWS　-　captchar認証にハマったら

昔、アカウント作成時のcaptchar認証でハマってて、もういいやってAWSは全く勉強してませんでしたが、またやってみることにしました。
そこで勉強アーカイブとしてハマった部分と対処法、これなんだ？と思って調べたことを思い込み含めて理解していく過程を備忘録にしていきます。
ーー書いてあることで間違ってたら教えてくださいね！

#【Captchar認証問題】
Captchar認証、２日くらい今回もハマってて、正直やっぱやめようと思った。

##私の場合の解消法：
最後に確定のつもりのリターンキー入力をやめ、送信ボタンをマウスで押すことで解消・・・。
あと、見えてる文字列に間が空いていても、空白文字は入れる必要はないです。

ーーAWSさんにお願い：captchar認証の入力文字列判定で、最後入力文字がYnなら、¥nは入力文字列から除いて文字列判定や

AWSでTensorflowをサポートできるFreqtradeアプリの構築

# はじめに
最近ビットコインの自動売買に興味があって色々調べてみたら
[Freqtrade](https://www.freqtrade.io/en/stable/)という素晴らしい自動売買のライブラリがあって
使ってみたところ管理画面なども完備しててかなりよかったです。
しかし、自動売買するのにただのテクニカルインジケータで予測しててもあんまり面白くないので、
せっかくなので機械学習で予測したいなって思い、tensorflowを入れるために色々沼ったのでそれらを解決に至るまでの経緯を
記事にしました。

# 問題1: TensorflowをDockerfileを通してインストールしてみたらできなかった

[Additional Dependencies with docker-compose](https://www.freqtrade.io/en/stable/docker_quickstart/#additional-dependencies-with-docker-compose)に従って、拡張用のDockerfileを作りました。

“`dockerfile:dock

AWS学習記録 ①クラウドサービスモデル/AWSの責任共有モデル

# AWS学習記録 ①クラウドサービスモデル

## はじめに

1/23(日)に、@KurokawaKouhei さんの運営する[「AWS CloudTech」](https://kws-cloud-tech.com/)に入会しました。
AWSを基礎から学び直すための学習記録として、Qiitaに学習内容を投稿していきます。

## クラウドサービスモデルとは

クラウドサービスの提供形態のこと。
以下の記事にわかりやすい分類付けがされている。
[参考|初心者でもわかりやすい！クラウドサービスの3つの種類](https://dream.jp/cloud/tips_c/cloud02.html)

### SaaS(Software as a Service)

ユーザが利用するアプリケーションをWebサービスとして提供している形態のこと。
代表的なSaaSとして、以下のようなものがある。

– Gmail(メールサービス)
– DropBox(ストレージサービス)
– Slack(チャットサービス)
– Microsoft365(Office製品)

これらはすべてWeb上で利用するこ

AWS クラウドプラティクショナー　流し見用 part2

●Amazon Route 53
Route53はAWSによるドメインネームシステムサービス
データセンターの物理的な災害、システム面での災害などが発生した場合、Route53サービスを使用してセカンダリサイトに簡単に切り替えることができる
また、Amazon Route 53は可用性が高くスケーラブルなDNSサービスでもある

●フォールトトレランスを向上させる方法
複数のアベイラビリティーゾーンにリソースを配置する
AWSリソースを複数のアベイラビリティーゾーンに配置することにより、Design For Failureの原則に従い、耐障害性を考慮した設計となっている
この構成により、１つのAZがダウンした場合でも他のAZがまだ稼働しているため、アプリケーションの耐障害性が向上する

●AWS Budgets,AWS Cost Explorerについて
AWS BudgetsはAWS Cost Explorerを利用しコスト表示を行い、事前にユーザーにより設定された良村のステータスを表示を行い推定コストの予測を提供する

●Design for Failureの原則をサポートできるも

Amazon Lookout for Visionを試してみました（森口さんvs森田さん）

AWSには画像から異常検知を行う`Amazon Lookout for Vision`というサービスがあります。

https://aws.amazon.com/jp/lookout-for-vision/

* わずか 30 枚のイメージで、ライブのプロセスラインから異常を発見する機械学習 (ML) モデルを簡単に作成できます。
* 視覚的な異常をリアルタイムで特定し、欠陥の削減と防止、生産品質の向上を実現します。
* 計画外のダウンタイムを防ぎ、運用コストを削減するために、目視検査データを使って潜在的な問題を発見し、是正措置を講じます。

このサービスを試してみました。

# 題材

画像からの異常検知なので、画像を用意する必要があります。
事前に準備されているサンプル画像を使ってもいいのですが、自分で用意したいと思いました。
そこで用意したのがこちら。

![20220125_111717764_iOS.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1180441/35c5cb04-4169-72

【AWS】アーキテクチャ・サービスの活用まとめ

## インデックス
１.料金と構築の検討
２.事例
３.設計書・報告書関連
４.セミナー・カンファレンス関連
５.その他

## １.料金と構築の検討
[(１) クラウド構成と料金試算例一覧](https://aws.amazon.com/jp/cdp/all/?cdp-japan-cards.sort-by=item.additionalFields.sortOrder&cdp-japan-cards.sort-order=asc&awsf.Use-Case=*all)

> アマゾン ウェブ サービス（AWS）は、開発環境としてはもちろん、ウェブサイト・ウェブアプリケーションからファイルサーバー、社内業務アプリケーション、動画配信、IoT、AI/機械学習までにいたるまで、数多くの用途で活用されています。

[(２) S3 Transfer Acceleration – Speed Comparison](https://s3-accelerate-speedtest.s3-accelerate.amazonaws.com/en/accelerate-speed-comparsion

本のまとめ

## まとめた本のタイトル
AWSコンテナ設計・構築［本格］入門

## 目的
AWSのコンテナサービスを理解し、開発環境を取り巻く技術動向に対し順応できるようにするため。

※この本は5章まであるが、4章と5章はハンズオンであるため、文字としてまとめるのは1から3章に留める。

#1章

この章ではコンテナとそれを扱うソフトの理解を目的としている。

###【コンテナとは】
他のプロセスとは隔離された状態でOS上にソフトウェアを実行する技術

###【コンテナ利用のメリット】
・環境依存からの解放
コンテナにはアプリの稼働に必要となるランタイムやライブラリを1つのパッケージとして全て含めることができる。そうすることでアプリの依存関係をすべてコンテナ内で完結できる。
依存関係を含めたパッケージがリリース単位となる

・環境構築やテストに要する時間の削減
優れた再現性とポータビリティ。
全ての依存関係がコンテナ内で完結するため、オンプレでもクラウドでも起動する。
ステージング環境でテスト済みのコンテナイメージをプロダクション環境向けに再利用することで、ライブラリ差異によ

リソースレコードの種類

権威DNSサーバーとフルサービスリゾルバの2種類があります。
権威DNSサーバーは、ゾーンという単位でドメイン名とIPアドレスを管理しています。
ゾーンの中には、レコードとという単位でドメイン名とIPアドレスを紐付ける情報を保持しています。

下表のレコードをリソースレコードと呼びます。

|リソースレコード|説明|
|—|—|
|Aレコード|address recordの略。ドメイン名とIPv4アドレスを紐付けるレコード|
|AAAAレコード|quad a recordとも呼ばれる。ドメイン名とIPv6アドレスを紐付けるレコード|
|PTRレコード|pointer recordの略。IPアドレスとドメイン名を紐付けるレコード|
|NSレコード|Name Serverレコードの略。他の権威DNSサーバーの場所を保持するレコード|
|SOAレコード|Start of authority recordの略。権威DNSサーバーのゾーンの情報を保持するレコード|
|CNAMEレコード|Canonical name recordの略。AレコードやAAAAレコードの別名を示すレコード|
|

AWS認定クラウドプラクティショナー資格】⑦データベースサービス

##はじめに

今回は、「データベースサービス」の概要について勉強した内容を紹介します。

「**RDS**」「**DynamoDB**」に絞って、その特徴をまとめていきます。

##参考書籍

※ [『AWS認定資格試験テキスト AWS認定クラウドプラクティショナー』](https://www.amazon.co.jp/gp/product/B07QX45RXM/ref=as_li_tl?ie=UTF8&camp=247&creative=1211&creativeASIN=B07QX45RXM&linkCode=as2&tag=itabashitat0a-22&linkId=9598d51e51c3843f7a25a61ef3b45475)
本記事は、本書の第8章に相当

## 項目
1. RDS
2. DynamoDB

##1. RDS

>Amazon RDSは、マネージド型リレーショナルデータベースで、データベースエンジンをAmazon Aurora、MySQL、MariaDB、Oracle、Microsoft SQL Server、PostgreSQLといった一般的な

M1 MacでAWS CDK環境を整備する

# このドキュメントは
Mac上でCDK環境を整備する方法をまとめたものです

# 前提条件
使用PC


# 手順
## homebrewでaws-cdkをインストールする

“`bash
% brew install aws-cdk
==> Downloading https://ghcr.io/v2/homebrew/core/node/manifests/17.4.0
Already downloaded: /Users/mukai/Library/Caches/Homebrew/downloads/794ea4ad96ad44757653ec3839632a88467cde669de3305f9d5f12ce1bd81769–node-17.4.0.bottle_manifest.json
==> Downloading ht

amazon linux(EC2)でlaravel+Dockerの環境を作りたい

最近インフラ周りの勉強を始めたのでdocekr+laravelの環境をEC2上に実現したいと思い奮闘しています。
参考になった記事を貼っていきます。

#記事

【AWS 入門】EC2とDockerでHello Worldしよう

【シンプル解説】docker-composeを使ってLaravel,nginx,MySQL環境構築する
https://simablog.net/docker-laravel-nginx-mysql/

##SSH接続後

phpをインストールする
https://qiita.com/nagahama/items/2fdc820791bee5d564ca

composer　install
https://qiita.com/kawanet/items/30c1acd4bc90ee0e535d

composer installの際のエラー(/usr/local/bin/docker-compose: line 1: Not: command not found)
ht

WAFのログ有効化＆ロギングフィルターで必要なログのみS3へ直接保存（Terraform）

# 前書き

– Cloud Watchなどにも直接いけます。
– Kinesis Data Firehose？？いやいやワイは直接S3にログをぶちこみたいんや！！ってお方向け。
– WebACLのリソースは作成済みのテイで進めます。

# やり方

## ◾️ おおまかな流れ

1. ログ保管用バケットつくる
2. ロギング構成用リソースを定義
3. ロギングとバケットを紐付け
4. ロギングフィルターを定義

## ◾️ 実・践

適当なバケットを作りましょう。

（※バケットポリシーはWAFのロギング時に自動でアタッチされるっぽいのでこちら用意しなくても良いっぽいです。細かい挙動はちょっとよくワカラナイ。。）

注意点として、bucket名は `aws-waf-logs-`のprefixで始まる必要があるらしいです。

[https://docs.aws.amazon.com/ja_jp/waf/latest/developerguide/logging-s3.html](https://docs.aws.amazon.com/ja_jp/waf/latest/developer

AWS＋Ray Dashboardポートフォワーディング

# 概要
ローカルPCからWSLでAWS上にRay clusterを作成し、ポートフォワーディングでローカルPC上でRay Dashboardが見られるようにする。

# 環境
– Windows10 Home
– WSL Ubuntuディストリビューションをインストール済み
– Python3、pip3、Ray、botoをインストール済み
– ローカルPCの~/.awsディレクトリ配下のcredentialsにAccess key ID、Secret access keyを入力済み
– 踏み台用EC2を作成済み（EC2はUbuntu）
– 踏み台用EC2に割当てているセキュリティグループでSSHおよび8265番ポートを許可

# 手順
WSL Ubuntuを開き、下記コマンドを実行。

“`bash
# 踏み台用EC2にSSH接続
$ ssh -i <踏み台サーバのpemファイル> ubuntu@<踏み台サーバのパブリックIP>

# 以下は踏み台用EC2で実行

# Ray cluster作成
$ ray up -n example-cluster –no-config-cac

【AWS】AWS Certified Solutions Architect – Associate合格体験記

# はじめに
表題でも記載した通り、AWSソリューションアーキテクトアソシエイト試験に合格した体験記となります。
※合格したのは2021年8月となります

# AWS Certified Solutions Architect – Associate
下記から詳細が確認いただけます。
https://aws.amazon.com/jp/certification/certified-solutions-architect-associate/

# 勉強したこと
## 参考書
下記参考書を5周くらいしました。
正直、最初見たときは「？？？」となり、全然理解できませんでした。
なので、AWSの資格に興味があるけど、実際参考書を買ったはいいが自分には無理だ・・・と思った方がいましたら、そこまで落ち込むことはありません。
私は3周くらいしたところでようやく理解しました。←
AWS認定資格試験テキスト AWS認定 ソリューションアーキテクト-アソシエイト
https://www.amazon.co.jp/AWS%E8%AA%8D%E5%AE%9A%E8%B3%87%E6%A0%BC%E8%A9

AWS CDK Intro WorkshopをCloud9で途中までやってみた

# はじめに
今までIaCをCloudFormationで記述してきましたが、規模が大きくなると比例して行数も多くなり、可読性が悪いと感じてきました。
AWS CDKで記述すれば可読性が良くなると聞き、AWS CDK Intro Workshopをやってみました。

# リンク

https://cdkworkshop.com/

日本語版は以下になりますがコードのバージョンが古いです。

https://catalog.us-east-1.prod.workshops.aws/v2/workshops/99731164-1d19-4d2e-9319-727a130e2d57/ja-JP/

日本語を見つつ、コードは英語の方を写経しました。

# 環境

Cloud9を使いましたので、PCはブラウザのみ。
言語はTypeScriptで行いました。

## 環境構築

Cloud9であれば中にすべて入っていましたので、何もインストールする必要ありませんでした。

– Cloud9作成
– デフォルトVPC
– デフォルトIAMロール
– インスタンスタイプはメモリ

AWS認定クラウドプラクティショナー資格】⑥ネットワークサービス

##はじめに

今回は、「ネットワークサービス」の概要について勉強した内容を紹介します。

「**VPC**」「**CloudFront**」「**Route53**」に絞って、その特徴をまとめていきます。

##参考書籍

※ [『AWS認定資格試験テキスト AWS認定クラウドプラクティショナー』](https://www.amazon.co.jp/gp/product/B07QX45RXM/ref=as_li_tl?ie=UTF8&camp=247&creative=1211&creativeASIN=B07QX45RXM&linkCode=as2&tag=itabashitat0a-22&linkId=9598d51e51c3843f7a25a61ef3b45475)
本記事は、本書の第7章に相当

## 項目
1.VPC
2.CloudFront
3.Route53

##1.VPC

####（１）VPCの特徴

>Amazon Virtual Private Cloud (Amazon VPC) を使用すると、定義した仮想ネットワーク内で AWS リソースを起動できます。

AWSの各種ガイドからAWSサービス間の関係性・中心性をリバースしてみた

## はじめに

#### AWSのサービス間の関係性を測定する方法はないだろうか？
昨年 AWSの認定試験の勉強をするに際して、改めてそのサービスの多さに圧倒されました。と、同時にふと「これらのサービス間同士の繋がりって、どうなっているのだろうか？」、「どうにかサービス間の関係性を測定して、可視化する方法はないだろうか？」 ということが気になり始めました。そこで今回、サービス間の繋がりをざっくりと測定できる方法について考えてみました。

**[やりたいことのイメージ]　AWSサービス間の繋がりを測定・可視化する**


## 当記事における関係性と中心性の定義
理想をいえば、AWSの各サービスを熟知したエキスパートの方々が持つ実践的な知識セットをナレッジグラフのように生成できればいいのですが、なかなかハードルが高いので、、、もっ

Amazon Cognitoの外部IdP(SAML)として、AzureADを使う

# はじめに

Amazon Cognito は、ウェブおよびモバイルアプリの認証、承認、およびユーザー管理機能を提供します。ゼロから認証機能の実装するのは大変なので、実装の負担などを軽減できます。

今回の記事は、Cognito の IdP として、Azure AD を利用して、Hosted UI を利用する方法を紹介します。Azure AD は SAML を利用できるため、SAML を使った方法となります。SAML を利用できる他の IdP も、もちろん連携可能です。

# 前提条件と確認

Cognito UserPool の基本的な設定は完了している状態で進めていきます。

Azure AD との連携を進める際に、いくつかの値をメモっておくと便利です。後の手順で使っていきます。

User Pool ID

![image-20220124182529491.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1002774/86910f06-ffba-b920-68fe-5c82361114