- 1. AWS の Annotations Framework ってなんだ？
- 2. AWS11資格を効率的に制覇する受験順 by 2021 AWS Top Engineers
- 3. 【AWS】踏み台サーバーを経由してSSHで接続するメモ
- 4. ユーザーがアップロードした画像をAWS S3に保存して、ユーザー本人だけアクセスできるようにする
- 5. ECS Fargateのコンテナ内にECS Execでアクセスする方法 (ローカルpcから)
- 6. AWS公式資料で挑むSCS認定(24)-こんな時どうする(全分野追記)
- 7. AWS SWF とは
- 8. AWS Application Migration Service とは
- 9. Amazon CognitoのホストされたUIを表示しないIDフェデレーション
- 10. 開発未経験がクラウドを企業に導入するプロジェクトごっこをしてみた~その１~
- 11. ? AWS認定資格11冠を達成しました
- 12. Firebase向けGoogleAnalyticsデータをS3上でAthena検索する
- 13. CloudWatch Agent on ECS で Prometheus メトリクスを CloudWatch Metrics に集約する
- 14. 【AWS】Cognito UserPool作成のCloudFormationテンプレートの紹介
- 15. クラウドエンジニアを目指す文系卒の僕の自己紹介
- 16. AWS CloudFormationとAmazon ECS/AWS FargateのBlue/Greenデプロイについて
- 17. Tensorコアで深層学習モデルの学習を高速化してみた
- 18. AWS CodePipelineの承認アクション有無を、AWS CloudFormationテンプレートでコントロールする
- 19. AWS Lambda /tmp領域が10GBまで拡張できるようになったのでディスク読書速度を測定してみた。
- 20. 【CDK】セキュリティ関連サービスのSlack通知を検証
AWS の Annotations Framework ってなんだ？
# はじめに
Visual Studio で AWS Lambda の新しいプロジェクトを作成しようとしたら、`Annotations Framework` という見慣れないプロジェクトがありました。今回はこの子がどういったものであるかを確認していきます。
# Lambda Annotations とは？
AWS Labmda Dotnet の Lambda Annotations に関する [README](https://github.com/aws/aws-lambda-dotnet/blob/master/Docs/lambda-annotations-design.md) を確認すると、下記のような説明があります。
> ラムダ注釈デザインは、.NET ラムダ関数を記述するための新しいプログラミングモデルです。大まかに言うと、新しい
AWS11資格を効率的に制覇する受験順 by 2021 AWS Top Engineers
# 概要
『AWS11資格制覇』するための、効率的な受験順を紹介します。このような方向け♪
・AWSの資格制覇を目指している人
・メイン業務でクラウドを使っていないが、これからクラウドを勉強したい人
・効率的にAWSの資格取得したい人# メッセージ
メイン業務は既存SIのPM、２人の子供を育児中でしたが、
効率的に勉強し『2021 AWS Top Engineers』『AWS11資格制覇』となりました。
そしてその後１年でAWS案件を億単位で獲得できました！少しでも、効率的に勉強をし、仕事の幅を広げたい方の参考になれば嬉しいです。
# AWSの資格って全部でなにがあるの？？
公式ページよりお借りしました。
現在、AWSの認定資格は、基礎１、アソシエイト３、プロフェッショナル２、専門５個の合計１１個あります。
# 効率的な
【AWS】踏み台サーバーを経由してSSHで接続するメモ
amazon web services 基礎からのネットワーク&サーバー構築
のCHAPTER6でつまったので記事にします。#### ①AWSコンソール上でのデータベースサーバーのセキュリティー設定
#### ②キーペアをウェブサーバーにコピー上記の二つでつまっていました。
### ①AWSコンソール上でのサーバーのセキュリティー設定
データベースサーバーICMPが通るように構成する
のところでセキュリティーグループのDB-SGにルールを追加するときに
”すべてのICMP-IPv4］を選択し、送信元には［任意の場所］を指定します。最後に、［保存］”
とあるのですがAWSの仕様が変わっていて送信元には［任意の場所］がないのでルールがうまく作れていなかった。##### ルールを二つ追加しなくてはならなくて、ソースが0.0.0.0/0のルールと::/0のルールを追加しないといけなかった。
### ②キーペアをウェブサーバーにコピー
“`
scp -i ~/my-key.pem ~/my-key.pem ec2-user@ec2-54-248-93-70.ap-northe
ユーザーがアップロードした画像をAWS S3に保存して、ユーザー本人だけアクセスできるようにする
そのようなニーズ、よくありますよね。
やっていきましょう。:::note warn
本記事で出てくるS3 URLなどは、執筆のために一時的に作っただけなので実際にはアクセスできません。
:::# S3バケットを作る
とりあえず動きを再現するだけなら、デフォルトで大体OKです。
気を付けるところは↓です。
# CloudFrontを作る
## その前に、公開鍵と秘密鍵ファイルを作る
これはopensslコマンドが存在する環境なら何で実施してもよいです。
Mac, Linux, Windows内のWSL上Linuxなど、どこでも。“`bash
$ openssl genrsa -out private_key.pem
$ openssl rsa -pubout -in private_key.pem -out public_k
ECS Fargateのコンテナ内にECS Execでアクセスする方法 (ローカルpcから)
# はじめに
ECS Execの機能を使って、Fargateのコンテナにアクセスする方法を記載します。ECS Execによるコンテナへのアクセスは、以下の4つを行うことで実行できます。
– クライアントサーバーには、ECS Exec コマンドを実行するための AWS CLI がインストールされていること
– クライアントサーバーには、AWS CLI 用の `Session Manager plugin` がインストール
– `enable-execute-command`を使い、Fargateのタスク定義の`enableExecuteCommand `を有効にすることで、ECS Exec の機能が有効になります。
– コンテナがSystems Managerと連携するため、FargateのタスクロールにIAM権限を付与します。
下記に記事に、詳細な理由が記載されています。https://docs.aws.amazon.com/ja_jp/AmazonECS/latest/userguide/ecs-exec.html
>ECS Exec 機能には、マネージド型 SSM
AWS公式資料で挑むSCS認定(24)-こんな時どうする(全分野追記)
##### [前回] [AWS公式資料で挑むSCS認定(23)-こんな時どうする(分野5:データ保護)](https://qiita.com/mingchun_zhao/items/2eed867d1841d4591c09)
## はじめに
前回まで分野別「こんな時どうする」をまとめてみました。
今回は「こんな時どうする」の補足となります。## 分野1: インシデント対応
– ユーザのアクセスキーが誤って公開された
– アクセスキーを削除またはローテート
– 不正使用されていないか、すべてのリージョンにおけるAWS CloudTrailログを確認
– 未承認リソースが存在したら削除## 分野2: ログとモニタリング(監視)
– すべてのAPI呼び出しをログ収集、3ヶ月間のみオンライン状態で参照、その後コンプライアンス要求により5年間復元可能な状態で保存したい
– すべてのアカウントでAWS CloudTrailを有効化
– 集中型ログ記録アカウントのS3バケットにログを格納
– 三ヶ月後Amazon Glacierに移動、
AWS SWF とは
## 勉強前イメージ
なんだっけ・・・わからん・・・
## 調査
### AWS SWF とは
Amazon Simple Workflow Service の略で、マネージド型のサービスになります。
ワークフロー管理サービスで、複数サーバ間でアプリケーションを連携させるための開発になります。
要するに、複数サーバで商品の発注のようなワークフローを処理する際の順番や振り分け先を管理するサービスです。Step Functionsの従来のサービスに当たるもので、同様の機能が使える際はStep Functionsを使用することを推奨されています。
Step Functionsの詳細は [こちら](https://qiita.com/miyuki_samitani/items/6c58d107cdc86d938fe3) に記載しているのでご確認ください。### 用語の確認
– ワークフロー : 実行する一連の流れを定義したもの
– ドメイン : 作成したワークフローの名前
– ワークフロースターター : ワークフローを開始するアプリケーション
– スターター : ワークフロー
AWS Application Migration Service とは
## 勉強前イメージ
アプリケーションを移行するやつ？
## 調査
### AWS Application Migration Service とは
略してAWS MGNと呼ばれ、(AMSの略語はほかのサービスの略称になっているため)
オンプレなどのサーバーをAWSへ移行するためのサービスとなります。
CloudEndure Migrationの後継となるサービスで、CloudEndure Migrationを使用している場合はMGNを推奨しています。
CloudEndure Migrationと同様の機能を提供していますが、AWSのマネジメントコンソールで利用することができ
またAWSの他のサービスと合わせて利用することができます。### AWS Application Migration Service の特徴
– 移行を迅速に行うことができる
増分変更分のみ移行することで、ネットワーク帯域を最低限に抑えつつも移行ができます。
– 移行の進行状況を確認可能
大規模な移行を行う際はレプリスケジュールを作成し、管理 各移行を確認することができます。
### AW
Amazon CognitoのホストされたUIを表示しないIDフェデレーション
# はじめに
Amazon CognitoでIDプロバイダーを設定して、ホストされたUI（Hosted UI）を利用した際にホストされたUI（Hosted UI）を表示せず、IDプロバイダーのサインイン画面を表示する方法を残します。
# 前提
Amazon CognitoにIDプロバイダーとしてGoogleを設定した例とします。設定方法は、以下を参照すると良いです。https://aws.amazon.com/jp/premiumsupport/knowledge-center/cognito-google-social-identity-provider/
こんな形でIDプロバイダー、ドメインを設定しておきます。
、合格できていなかった高度なネットワーキング専門知識(ANS-C00)に合格し、
年度内の目標だった[2022 APN ALL AWS Certifications Engineers](https://aws.amazon.com/jp/blogs/psa/2022-apn-aws-all-cert-engineers-apply/)の認定要件である11資格のコンプリートを達成しました！
本記事では自分自身の備忘録も兼ねて、受験の経緯などを簡単にまとめたいと思います
また、各試験の受験にあたり参考にしたコンテンツなどについては、後日可能な限りまとめていきます
擦り尽くされたテーマではありますが、公開した際は学習の一助としていただ
Firebase向けGoogleAnalyticsデータをS3上でAthena検索する
## 概要
スマートフォンアプリで`Firebase`+`GoogleAnalytics`を活用しているユーザーが対象です。
BigQueryからS3にデータを移行し、Athenaで検索します。
BigQueryではなくAWSで分析をおこないたいユーザーに向けたETL基盤の設計例の紹介です。当記事ではTerraformを用いた例を紹介しています。
## 前提条件
すでにFirebase向けGoogleAnalyticsのデータがBigQueryで検索できる状態とします。
以下のヘルプページを参照してください。https://support.google.com/firebase/answer/6318765
また、テーブルのスキーマは以下の通りになっているはずです。
合わせてご確認ください。https://support.google.com/firebase/answer/7029846
フォーマットのメトリクスの公開エンドポイントのメトリクスを収集、 CloudWatch Metrics に収集したメトリクス値を集約し、ダッシュボードでの可視化やアラームを設定できるように試みました。
AWS のドキュメントなどを参照しても、それぞれの設定がどのように作用するのかがイメージしづらく、他に参考になるような資料も少なかったため、私自身がイメージしていた動作になるまでまで四苦八苦してしまいました。
こうすると動くみたいなのはよく書いてあるんですが、その設定がどういう働きをしているのかがわからず、どうデバッグしたらいいのかわからなかったので、「再び苦労する方が少なくなる方が少なくなれば」との思いで、どういう風に動いてそうか、どういう風に設定するのか、設定項目の解説などを書いてみました。
## アーキテクチャ (たぶんこんな感じ)
ここでは WildFly (Java EE Server) にビルトインされているメトリクスのエンドポイントから CloudWatch Agent を用いて収集し、CloudWatch Logs に
【AWS】Cognito UserPool作成のCloudFormationテンプレートの紹介
## はじめに
Cognito設定自動化にあたり、Cognito UserPool作成用のCloudFormationテンプレートの作成を行いました。## テンプレート例
“`yml
AWSTemplateFormatVersion: 2010-09-09
Description:
This template creates an Amazon Cognito Userpool.
You will be billed for the AWS resources used if you create a stack from this
template.
Parameters:
FromEmailAddress:
Description: from email address
Type: String
FromEmailIdentityArn:
Description: from email ses arn
Type: String
Stage:
Type: String
Description: The na
クラウドエンジニアを目指す文系卒の僕の自己紹介
# 初めに
22年度卒文系学部卒の、たいきです。
AWSでのアウトプットの記録として投稿を始めました。
直近の目標はクラウドエンジニアとして経験を積むことです。
今後、同じような背景を持った人の参考になれば幸いです。# 資格・経験
応用情報技術者試験(2021/10月取得)
AWS Solution Architect – Associate(AWS-SAA 2021/12月取得)
AWS Solution Architect – Professional(AWS-SAP 2022/3月取得)
７か月間のシリコンバレーでの留学# テクノロジーに興味を持ったきっかけ
シリコンバレーでのシェアハウス中の経験が、文系卒の僕がこの業界に飛び込んだ大きな要因です。約１０数人いたハウスメート全員がエンジニアでした。そのような環境の中で一人のフランス人が僕にプログラミングを熱心に教えてくれました。最初に触れたのはPythonです。CodeWarsという学習サイトでアルゴリズムの練習にものすごくのめりこんだことを覚えています。これが僕がこの業界での初めての
AWS CloudFormationとAmazon ECS/AWS FargateのBlue/Greenデプロイについて
# What’s？
> 2022年3月29日時点の情報で記載しています
Amazon ECS/AWS Fargateのデプロイ方法は、以下の2種類の方法から選ぶことができます。
– [ローリング更新](https://docs.aws.amazon.com/ja_jp/AmazonECS/latest/userguide/deployment-type-ecs.html)
– [CodeDeploy による Blue/Green デプロイ](https://docs.aws.amazon.com/ja_jp/AmazonECS/latest/userguide/deployment-type-bluegreen.html)実際のデプロイ時にはAWS CodePipelineのアクション内に組み込んで使いたくなるのかな、と思うのですが、そのような構成をAWS CloudFormationで構築することはできません。
> カスタムリソースを使う場合を除く
この情報を、少しまとめておきたいな、と。
AWS FargateはAmazon ECSに含まれる話だろう、とは思いますが
Tensorコアで深層学習モデルの学習を高速化してみた
こんにちは。(株)日立製作所のLumada Data Science Lab.／社会システム事業部デジタルイノベーションセンタの本美です。普段は社会インフラのAIシステムの企画から試作、開発を推進する業務に従事しています。
近年IT技術の発展と浸透が進み、世の中のさまざまな情報からAIを活用したサービスが日々登場しています。AIを代表する深層学習の開発では大規模なデータを学習するため、GPUによる長時間の学習が必要となります。GPUを搭載したインスタンスの運用コストは比較的高価ですので、学習時間を短縮する技術は大変有益です。
今回、Tensorコアを活用して学習を高速化する実験をしましたので、共有いたします。# 0.対象読者
学習を高速化させたいMLエンジニア# 1.はじめに
一般的に最も使用されているGPUはNVIDIA社製です。特に、Volta世代以降の製品では、深層学習に特化したTensorコアを搭載しています。例として、Tesla V100(PCIe)の演算スペックを掲載します。(引用データ: [V100カタログ](https://images.nvidia
AWS CodePipelineの承認アクション有無を、AWS CloudFormationテンプレートでコントロールする
# What’s？
AWS CodePipelineには、ステージ内に承認アクションを設けることができます。
https://docs.aws.amazon.com/ja_jp/codepipeline/latest/userguide/approvals.html
こちらは本番環境で使うのはよいのですが、開発環境では設けなくてもよいことが多く、これをAWS CloudFormationの条件分岐でコントロールするサンプルが見つからなかったので、メモ的に残しておくことにしました。
# 解法
AWS CloudFormationテンプレートの`Conditions`と、擬似パラメーター`AWS::NoValue`の組み合わせで実現します。
https://docs.aws.amazon.com/ja_jp/AWSCloudFormation/latest/UserGuide/conditions-section-structure.html
https://docs.aws.amazon.com/ja_jp/AWSCloudFormation/latest/UserGuid
AWS Lambda /tmp領域が10GBまで拡張できるようになったのでディスク読書速度を測定してみた。
# はじめに
いままでLambdaのエフェメラルストレージ(以下/tmp)は512MBまでだったが、2022年3月24日から10GBまで拡張できるようになった。https://aws.amazon.com/jp/blogs/aws/aws-lambda-now-supports-up-to-10-gb-ephemeral-storage/
そこで512MBと10GBでディスクの読み書きスペックに違いがあるかを確認してみた。
# 結論から
/tmpサイズ増減によるディスク読書速度は変化は見られない。
Lambdaメモリを増やすとディスク読書速度は大幅に向上する。
ファイル読み書きサイズが大きい処理ならばLambdaメモリは大きくする。# 計測方式
ddコマンドによる簡易的な計測
Amazon linux2からddコマンドコピーおよびzipファイルにしてLambda Layerに登録。tmp領域のサイズによって書き込みサイズを変化させる。
` 512MBの場合 448MB書き込み = bs=64K count=7k`
`10240MBの場合 9600MB書き込
【CDK】セキュリティ関連サービスのSlack通知を検証
## はじめに
今回はセキュリティ周りのSlack通知をCDKで試してみました。Chatbotと直接統合されていないサービス群はEventBridgeによるイベントをトリガーとしてSNS->Chatbotの流れで通知させます。
※今回少し長くなってしまったので幾つかの項目を折りたたんでます。・関連記事
[【CDK】Cost Anomaly DetectionがChatbotと統合されたのでCDKで実装してみた【アップデート】](https://qiita.com/hedgehog051/items/5e22846d6b8b7b895073)
[【CDK】ECRイメージスキャンの結果をchatbot経由でslackに通知させる](https://qiita.com/hedgehog051/items/51653e0c61c5190ebb64)## SecurityHub
>Q: AWS Security Hub とは何ですか?
>
>AWS Security Hub は、AWS 内のセキュリティの状態と、セキュリティ標準およびベストプラクティスに準拠しているかどうかを、包括的に
