- 1. GCP AnthosでAWS EKSを管理する
- 2. Docker-ComposeのAWS ECSデプロイをGithub Actionでやる
- 3. AWS WavelengthでWindowsサーバー構築とメンテナンス環境構築（踏み台サーバー不要）
- 4. SimpleADにて認証受けるClient VPN構築してみた(Client VPN + Simple AD + EC2 + ALB)
- 5. 【初心者向け】AWSでどのようなバックアップ設定をすべきか
- 6. elasticache備忘録
- 7. InteliJ のデータベースツールから Amazon Aurora MySQL へ接続する
- 8. KMSまとめ
- 9. AWS認定クラウドプラクティショナー資格】⑧管理サービス
- 10. AWS認定 機械学習 – 専門知識(MLS-C01) 取得するまでにやったこと
- 11. ECS Fargate、Fire Lensを使ってWebサーバーのログを直接S3保存（Terraform）
- 12. S3 Object Lambdaで大量のテキストを並列加工
- 13. [備忘録]初めてのAWS - captchar認証にハマったら
- 14. AWSでTensorflowをサポートできるFreqtradeアプリの構築
- 15. AWS学習記録 ①クラウドサービスモデル/AWSの責任共有モデル
- 16. AWS クラウドプラティクショナー 流し見用 part2
- 17. Amazon Lookout for Visionを試してみました（森口さんvs森田さん）
- 18. 【AWS】アーキテクチャ・サービスの活用まとめ
- 19. 本のまとめ
- 20. リソースレコードの種類
GCP AnthosでAWS EKSを管理する
# はじめに
こんにちは@sk_130と申します。本記事は、GCPのAnthosに関する学習履歴になります。
Anthosを理解したい人に役立てばと思います。
今回の記事では**ハンズオンを試したのち、EKSのクラスタを接続するところまでやってみます**今回初めてAnthosについて投稿するため、簡単にAnthosとは？をまとめた後に
実際にやったことを整理します。# Anthosとは
Anthosは、Kubernetesをベースにアプリケーションのマルチクラウド対応を実現する新サービス
Google Cloud上ではGoogle Kubernetes Engine（GKE）上で稼働し、オンプレミスではGKEオンプレミス上で稼働
さらにAWS上でも稼働予定のため、Google以外のクラウドサポートが見込まれているつまり、GCPの統合管理サービスです。
GCP以外のクラウドサービスやオンプレサーバの一括管理ができるサービスです##### 個人的には統合管理できること＋サービスメッシュのマネージドサービスがあることが強いと思っています
AWSもAppMeshというものが
Docker-ComposeのAWS ECSデプロイをGithub Actionでやる
# 前置き
Docker-Composeで環境を作っているのでそのままそれを使ってpushできると楽だと思った。いろいろ調べたがあまりまとまっているものがなかったので書いた。
# 前提条件
– Mac
– AWSアカウントがある。
– Docker Desktop環境がある
– AWS CLI環境がある# 手順
1. IAMユーザを作る。以下の権限をユーザorグループにつけておく。
– Administrator Access
– AmazonECS_FullAccessAWS_ACCESS_KEY_IDとAWS_SECRET_ACCESS_KEYを控えておく。
2. Amazon ECS用のcontextを作る。
以下のコマンドを実行
“`
$ docker context create ecs [contextname]
“``? Create a Docker context using`と聞かれるので`AWS secret and token credetials`を選択
AWS_ACCESS_KEY_IDとAWS_SECRET_ACCE
AWS WavelengthでWindowsサーバー構築とメンテナンス環境構築（踏み台サーバー不要）
5Gデバイスのための超低レイテンシー環境である[AWS Wavelength](https://aws.amazon.com/jp/wavelength/)を用いたサーバー構築を行ったのでメモとして構築方法を記録しておく。
## 構成
### Wavelength Zone内サーバーは5G網以外からアクセス不可
Wavelength Subnet内に設置したサーバーは5G端末から低レイテンシーでアクセスできる反面、通常のインターネット網経由ではアクセスすることができない。そのため、多くのサイトでは踏み台サーバーを同一VPC内の別Subnetに用意しメンテナンスする構成を紹介している。もっとシンプルな構成で、サーバーを管理・メンテナンスできる用法がないか考えてみた。
### Chrome Remote Deskto
SimpleADにて認証受けるClient VPN構築してみた(Client VPN + Simple AD + EC2 + ALB)
#はじめに
こんにちは、山田です。
今回はClient VPNをActive Directory認証を用いて実装してみました。#全体構成図。
下記に全体構成図を記載する。
①：AWS VPN Clientを用いて、Client VPNに接続する。
②：接続する際はSimpleADにてユーザー認証を受ける。
③：ターゲットネットワークに接続したら、ブラウザにてALBに接続する。
④：ALBがトラフィックを分散し,EC2に接続する。#前提条件
今回はSimpleADとクライアントVPNをメインに記載していきます。
EC2,ALB等は実装済みとします。#SimppleADの構築
①：AWS管理コンソール -> Directory Service -> ディレクトリ -> ディレクトリのセットアップをクリックする。②：ディレクトリタイ
【初心者向け】AWSでどのようなバックアップ設定をすべきか
# はじめに
AWSの利用にあたって、バックアップの取得はユーザーの責務となります。
自分たちで、自分たちの要件のもと、設定する必要があります。
近年、AWS Backup(*)の登場によって一元的に設定可能になりましたが、より適切なバックアッププランを検討・選択するには、概要を知っておいた方がいいので、簡単に解説しておきます。(*) AWS Backup
AWS Backupとは、対応するサービスインスタンスのバックアップを一元的に管理するサービスです。
AWSの各サービスではBackupの仕組みは提供されているものの、以前は自動化するには、[こんな感じ](https://qiita.com/pict3/items/9fab02438dc22c0b85ea)で実装する必要がありました。AWS Backupの登場により、複雑な独自要件がない限りは、自前実装がお役御免になりました。
当初は、マルチリージョンやタグなどの機能がなかったり、対応サービス数が少なかったのですが、今となっては非常に幅広い要件に対応しています。# リテンションポリシー
データ管理要件において、バックアッ
elasticache備忘録
・設定エンドポイントとノードエンドポイントについて（memcached）
・memcacedかredisか
・リーダーエンドポイント（redis）
・redisのクラスタ構成に関して・設定エンドポイントとノードエンドポイントについて（memcached）
ノードがダウンしてしまうとアプリ側でノードエンドポイントを書き換えなくてはいけないので大変
→クラスターで設定エンドポイントを設けることでその辺をうまくやってくれる（詳しくは自動検出の動作を見てください）https://docs.aws.amazon.com/ja_jp/AmazonElastiCache/latest/mem-ug/AutoDiscovery.HowAutoDiscoveryWorks.html
一方でこの原理ならばノードエンドポイントに直接アクセスすることも可能だが、設定エンドポイントをアプリ側のエンドポイントに設定することが望ましいと考えられる
・memcacedかredisか
この記事にもある通り基本的には機能が充実しているredisを使った方がよさそう・・・
しいて言うならmemcachedが
InteliJ のデータベースツールから Amazon Aurora MySQL へ接続する
公式ドキュメントによると JDBC 接続文字列の形式は以下のようになるが、InteliJ での設定が分からなかった。
“`
jdbc:mariadb:aurora://[clusterInstanceEndPoint[:port]]/[database]
“`結論としては、Amazon Aurora MySQL のドライバーに新しい URL テンプレートを追加すれば良い。
## 設定
設定パネルの青い文字をクリックするとオプションを切り替えられる。
ドライバーに `Amazon Aurora MySQL` を選ぶとよしなにドライバーのダウンロードも行ってくれる。
ドライバータブを選択すると先ほどインストールされたドライバが存在する。
URL テンプレートには `jdbc:mariadb:aurora://` は存在しないので defau
KMSまとめ
#AWS kmsについて
##kmsとは
暗号鍵の生成、管理、運用のためのサービス。
可用性、物理的セキュリティ、ハードウェアの管理はAWSが担当するマネージドサービス。
S3やEBS,RDSで使用可能。SDKを使用することでローカルのデータも暗号化できる。
鍵の使用履歴はCloudTrailに記録される。##用語
1.CMK（Customer Master Key）
最上位の暗号鍵。最大４KBのデータを暗号化できる。2.Envelope Encryption
マスターキーを直接暗号化に利用せず、マスターキーで暗号化した暗号キーで暗号化・複合化すること。3.CDK(Customer Data Key)
実際にデータを暗号化する時に利用する暗号鍵。
KMSで生成されCMKで暗号化された状態で保管される。
利用時のみCMKで複合化し、アプリケーションやサービスで利用する。4.Encryption Context
暗号化する際にKMSに渡せるKey/Valueペア。
設定した場合、複合化のために必要になる。5.Client-Side Encryption
ユーザーアプリケ
AWS認定クラウドプラクティショナー資格】⑧管理サービス
##はじめに
今回は、AWSの「管理サービス」の概要について勉強した内容を紹介します。
「**CloudWatch**」「**Trusted Advisor**」「**その他**」に絞って、その特徴をまとめていきます。
##参考書籍
※ [『AWS認定資格試験テキスト AWS認定クラウドプラクティショナー』](https://www.amazon.co.jp/gp/product/B07QX45RXM/ref=as_li_tl?ie=UTF8&camp=247&creative=1211&creativeASIN=B07QX45RXM&linkCode=as2&tag=itabashitat0a-22&linkId=9598d51e51c3843f7a25a61ef3b45475)
本記事は、本書の第9章に相当## 項目
1. CloudWatch
2. Trusted Advisor
3. その他##1. CloudWatch
>Amazon CloudWatch は、DevOpsエンジニア、デベロッパー、サイト信頼性エンジニア (SRE)、IT マネージャー、お
AWS認定 機械学習 – 専門知識(MLS-C01) 取得するまでにやったこと
# はじめに
DX 技術本部の yu-yama です。
AWS認定 機械学習 – 専門知識(MLS-C01) を取得したので取得までの流れを記します。
https://aws.amazon.com/jp/certification/certified-machine-learning-specialty/
## 受験前の知識
機械学習関連の実務経験は無く、教師あり学習とか教師なし学習とかモデルとか用語を**雰囲気で**知っているレベル
AWSの資格はCLF以外取得済
## 学習期間
– 2カ月半(トータル20時間程度)
– 内訳
– 参考書(7H)
– ↑以外(13H)## 学習の流れ
### [試験ガイド](https://d1.aws
ECS Fargate、Fire Lensを使ってWebサーバーのログを直接S3保存（Terraform）
# 前書き
– 相変わらずノリと勢いで書いてしまっています。（悪い癖だ。。）
– 実際に稼働するものを実装した経験に基づき解説していますが、サンプルコードなどは公式のテンプレからとってきて解説していたりするので違和感・過不足あるかも。ごめんなさい。[https://registry.terraform.io/providers/hashicorp/aws/latest/docs](https://registry.terraform.io/providers/hashicorp/aws/latest/docs)
# 何をするの
– Fire Lensサービスを使ってFluent BitコンテナをWebサーバーコンテナのサイドカーとして稼働させロギングを任せます。（今回はECS ⇒ S3のパターン）
# 前提
– すでにアプリケーションがECS Fargateへデプロイされている。
# 全体像
関連リソースの作成（S3、Cloud Watch、ECR）
↓
Fluent BitコンテナDockerfileと設定ファイルの実装とECRヘのpush
↓
タスク定義の修正・追
S3 Object Lambdaで大量のテキストを並列加工
## はじめに
– S3 Object Lambdaを使って、大量のテキスト文を並列で形態素解析します。
– 形態素解析については別で[記事](https://qiita.com/sho-jp/items/50243956373f21b1e138)を書いています## S3 Object Lambdaとは
> S3 Object Lambda を使用すると、クライアントアプリケーションによって S3 からオブジェクトを取得するときに、Lambda 関数を使用してデータを処理および変換できます。
[参照](https://aws.amazon.com/jp/blogs/news/translating-content-dynamically-by-using-amazon-s3-object-lambda)
S3にあるオブジェクトにGetアクセス
[備忘録]初めてのAWS - captchar認証にハマったら
昔、アカウント作成時のcaptchar認証でハマってて、もういいやってAWSは全く勉強してませんでしたが、またやってみることにしました。
そこで勉強アーカイブとしてハマった部分と対処法、これなんだ？と思って調べたことを思い込み含めて理解していく過程を備忘録にしていきます。
ーー書いてあることで間違ってたら教えてくださいね！#【Captchar認証問題】
Captchar認証、２日くらい今回もハマってて、正直やっぱやめようと思った。
##私の場合の解消法：
最後に確定のつもりのリターンキー入力をやめ、送信ボタンをマウスで押すことで解消・・・。
あと、見えてる文字列に間が空いていても、空白文字は入れる必要はないです。ーーAWSさんにお願い：captchar認証の入力文字列判定で、最後入力文字がYnなら、¥nは入力文字列から除いて文字列判定や
AWSでTensorflowをサポートできるFreqtradeアプリの構築
# はじめに
最近ビットコインの自動売買に興味があって色々調べてみたら
[Freqtrade](https://www.freqtrade.io/en/stable/)という素晴らしい自動売買のライブラリがあって
使ってみたところ管理画面なども完備しててかなりよかったです。
しかし、自動売買するのにただのテクニカルインジケータで予測しててもあんまり面白くないので、
せっかくなので機械学習で予測したいなって思い、tensorflowを入れるために色々沼ったのでそれらを解決に至るまでの経緯を
記事にしました。# 問題1: TensorflowをDockerfileを通してインストールしてみたらできなかった
[Additional Dependencies with docker-compose](https://www.freqtrade.io/en/stable/docker_quickstart/#additional-dependencies-with-docker-compose)に従って、拡張用のDockerfileを作りました。
“`dockerfile:dock
AWS学習記録 ①クラウドサービスモデル/AWSの責任共有モデル
# AWS学習記録 ①クラウドサービスモデル
## はじめに
1/23(日)に、@KurokawaKouhei さんの運営する[「AWS CloudTech」](https://kws-cloud-tech.com/)に入会しました。
AWSを基礎から学び直すための学習記録として、Qiitaに学習内容を投稿していきます。## クラウドサービスモデルとは
クラウドサービスの提供形態のこと。
以下の記事にわかりやすい分類付けがされている。
[参考|初心者でもわかりやすい！クラウドサービスの3つの種類](https://dream.jp/cloud/tips_c/cloud02.html)### SaaS(Software as a Service)
ユーザが利用するアプリケーションをWebサービスとして提供している形態のこと。
代表的なSaaSとして、以下のようなものがある。– Gmail(メールサービス)
– DropBox(ストレージサービス)
– Slack(チャットサービス)
– Microsoft365(Office製品)これらはすべてWeb上で利用するこ
AWS クラウドプラティクショナー 流し見用 part2
●Amazon Route 53
Route53はAWSによるドメインネームシステムサービス
データセンターの物理的な災害、システム面での災害などが発生した場合、Route53サービスを使用してセカンダリサイトに簡単に切り替えることができる
また、Amazon Route 53は可用性が高くスケーラブルなDNSサービスでもある●フォールトトレランスを向上させる方法
複数のアベイラビリティーゾーンにリソースを配置する
AWSリソースを複数のアベイラビリティーゾーンに配置することにより、Design For Failureの原則に従い、耐障害性を考慮した設計となっている
この構成により、１つのAZがダウンした場合でも他のAZがまだ稼働しているため、アプリケーションの耐障害性が向上する●AWS Budgets,AWS Cost Explorerについて
AWS BudgetsはAWS Cost Explorerを利用しコスト表示を行い、事前にユーザーにより設定された良村のステータスを表示を行い推定コストの予測を提供する●Design for Failureの原則をサポートできるも
Amazon Lookout for Visionを試してみました（森口さんvs森田さん）
AWSには画像から異常検知を行う`Amazon Lookout for Vision`というサービスがあります。
https://aws.amazon.com/jp/lookout-for-vision/
* わずか 30 枚のイメージで、ライブのプロセスラインから異常を発見する機械学習 (ML) モデルを簡単に作成できます。
* 視覚的な異常をリアルタイムで特定し、欠陥の削減と防止、生産品質の向上を実現します。
* 計画外のダウンタイムを防ぎ、運用コストを削減するために、目視検査データを使って潜在的な問題を発見し、是正措置を講じます。このサービスを試してみました。
# 題材
画像からの異常検知なので、画像を用意する必要があります。
事前に準備されているサンプル画像を使ってもいいのですが、自分で用意したいと思いました。
そこで用意したのがこちら。 クラウド構成と料金試算例一覧](https://aws.amazon.com/jp/cdp/all/?cdp-japan-cards.sort-by=item.additionalFields.sortOrder&cdp-japan-cards.sort-order=asc&awsf.Use-Case=*all)
> アマゾン ウェブ サービス（AWS）は、開発環境としてはもちろん、ウェブサイト・ウェブアプリケーションからファイルサーバー、社内業務アプリケーション、動画配信、IoT、AI/機械学習までにいたるまで、数多くの用途で活用されています。[(２) S3 Transfer Acceleration – Speed Comparison](https://pages.awscloud.com/rs/112-TZM-766/images/20190905_%E3%82%A4%E3%83%81%E3%81%8B%E3%82%89%E7%90%86%E8%A7%A3%E3%81%99%E3%82%8B%E3
本のまとめ
## まとめた本のタイトル
AWSコンテナ設計・構築［本格］入門## 目的
AWSのコンテナサービスを理解し、開発環境を取り巻く技術動向に対し順応できるようにするため。※この本は5章まであるが、4章と5章はハンズオンであるため、文字としてまとめるのは1から3章に留める。
#1章
この章ではコンテナとそれを扱うソフトの理解を目的としている。
###【コンテナとは】
他のプロセスとは隔離された状態でOS上にソフトウェアを実行する技術###【コンテナ利用のメリット】
・環境依存からの解放
コンテナにはアプリの稼働に必要となるランタイムやライブラリを1つのパッケージとして全て含めることができる。そうすることでアプリの依存関係をすべてコンテナ内で完結できる。
依存関係を含めたパッケージがリリース単位となる・環境構築やテストに要する時間の削減
優れた再現性とポータビリティ。
全ての依存関係がコンテナ内で完結するため、オンプレでもクラウドでも起動する。
ステージング環境でテスト済みのコンテナイメージをプロダクション環境向けに再利用することで、ライブラリ差異によ
リソースレコードの種類
権威DNSサーバーとフルサービスリゾルバの2種類があります。
権威DNSサーバーは、ゾーンという単位でドメイン名とIPアドレスを管理しています。
ゾーンの中には、レコードとという単位でドメイン名とIPアドレスを紐付ける情報を保持しています。下表のレコードをリソースレコードと呼びます。
|リソースレコード|説明|
|—|—|
|Aレコード|address recordの略。ドメイン名とIPv4アドレスを紐付けるレコード|
|AAAAレコード|quad a recordとも呼ばれる。ドメイン名とIPv6アドレスを紐付けるレコード|
|PTRレコード|pointer recordの略。IPアドレスとドメイン名を紐付けるレコード|
|NSレコード|Name Serverレコードの略。他の権威DNSサーバーの場所を保持するレコード|
|SOAレコード|Start of authority recordの略。権威DNSサーバーのゾーンの情報を保持するレコード|
|CNAMEレコード|Canonical name recordの略。AレコードやAAAAレコードの別名を示すレコード|
|
