- 1. AWS データレイクハンズオン – Lab4 –
- 2. AWS でデータ分析をしてみたい – Lab1, Lab2, Lab3 –
- 3. QuickSight の Dashboard の埋め込みをフェデレーション環境でやってみた
- 4. QuickSight でグループ管理をしてみた
- 5. AWSでアプリをデプロイするときに使う用語備忘録
- 6. AWS Certified Database – Specialty 合格体験記
- 7. ECS タスクから秘匿情報を参照するベストプラクティス
- 8. GPSマルチユニットSORACOM Edition を使って、自宅のドアの鍵を開けよう。
- 9. AWS Amazon Linux2 インスタンスに samtools・bcftools をインストールする
- 10. 30代未経験エンジニア転職でも入社１年でAWS SAPに合格できました。どんな対策したか全部書きます。
- 11. AWS認定ソリューションアーキテクトアソシエイトの勉強法まとめ
- 12. 【一眼で確認するだけの】 NATインスタンスと、NATゲートウェイの違い
- 13. Amazon SageMaker Inference Recommender でより適切な推論インスタンスを見つけたい
- 14. 【AWS】S3 CLI オブジェクトにタグをつける方法
- 15. QuickSight と Azure AD を使って、SP Initiated SSO をやってみた
- 16. QuickSight の自己プロビジョニングをフェデレーション環境でやってみた QuickSight編
- 17. Lambda layersでAWS SDKを使用できるようにする
- 18. Lambdaから同一アカウント内のEC2インスタンス情報を取得する
- 19. AWS EC2 にボリュームを追加する・ボリュームを変更する
- 20. PearsonVUEのシステムテストでvmwpが消えてくれない件
AWS データレイクハンズオン – Lab4 –
# 背景
データ分析に AWS を使えることを知ったので、AWS データレイクハンズオンを試して、実際に分析パイプラインを構築してみる。
https://github.com/aws-samples/amazon-s3-datalake-handson/tree/master/JP
# ハンズオンに取り組む
## Lab4: アプリケーションログの永続化と長期間データの分析と可視化
主に使用するサービス:
– Kinesis Data Firehose
– S3
– Athena
– QuickSight### Section1: S3, Kinesis Data Firehose の設定
#### Step1: S3 バケットの作成
#### Step2: Kinesis Data Firehose の作成
特に問題なく作成できた。
### Section2: EC2 の設定変更
#### Step1: IAM ロールのポリシー追加
#### Step2: Fluentd の設定
特に問題なく設定できた。
### Section3: Glue Craw
AWS でデータ分析をしてみたい – Lab1, Lab2, Lab3 –
# 背景
プライベートでデータ分析が必要になったので、せっかくだし AWS を使えないか、試行錯誤することにした。
その過程をメモ書きしていく。# 今回目指すこと
データ分析に適した AWS のサービスを見つける。
また、それらサービスの知見を深める。# まずはググる
色々ヒットするが、以下の AWS 公式マンガが分かりやすかった。
https://aws.amazon.com/jp/campaigns/manga/vol9-1/
データレイクとは？
-> データの保管場所。非構造化データもそのまま保存できる。データレイク活用の大きな流れは以下の通り。
1. 収集
1. 蓄積 <-> データカタログ
1. 加工 <-> データカタログ
1. 分析
1. 可視化データの蓄積は S3。
データの加工・データカタログの作成は AWS Glue。
* データの加工方法に高い自由度が必要な場合は、 AWS EMR。### Amazon EMR
Hadoop/Spark 等のマネージドフレームワーク。
自由度が高く、スケーラビリティを誇る実行基盤。Hado
QuickSight の Dashboard の埋め込みをフェデレーション環境でやってみた
# はじめに
QuickSight では、可視化したダッシュボードやコンソール画面を 簡単にWebサービスに埋め込めます。SaaS サービス社内イントラページなどに、ダッシュボードを埋め込むことで、データを活用した経営やサービスに活かすことができます。自分たちで一から可視化のためのアプリケーションを作る場合と比べて、実装工数が削減でき、継続的な AWS 側の機能拡張をそのまま利用できるメリットがあります。
また、別の機能の話になりますが、QuickSight で大規模なユーザーを管理する場合に、IAM を使ったフェデレーション(Federation)が便利に使えます。例えば、Azure AD や、ADFS、Okta など、SAML や OpenID Connect が使える IdP と連携して、SSO が実現出来ます。
このフェデレーション環境のときに、どのようにユーザー認証を意識した埋め込みが出来るのか不明だったので、検証してみました。
# 前提条件
– Azure AD と QuickSight が連携済みの環境で検証を行う
– Azure AD と QuickS
QuickSight でグループ管理をしてみた
# はじめに
QuickSight はグループ管理機能があります。複数ユーザーを参加させることで、グループ単位の権限管理が可能になります。一般的なグループの概念ですね。
ただ、QuickSight の Web UI にはグループの管理画面が提供されておらず、AWS CLI や REST API, SDK などでグループ新規作成やグループ参加などを操作する必要があります。
今回は、AWS CLI でグループを作成する動作を簡単に確認してみます。
# グループを作成してメンバーの追加
AWS CLI を使って、QuickSight 上にグループを1個作成します。
– グループ名 `admin-group01`
“`
aws quicksight create-group \
–aws-account-id xxxxxxxxxxxx \
–namespace default \
–group-name admin-group01
“`実行例です。正常に作成できています。
“`
> aws quicksight create-group \
AWSでアプリをデプロイするときに使う用語備忘録
#はじめに
物の本によると「備忘録」とは「忘れた時のために要点を書きしるしたもの」を指すそうです。
本記事は一週間前に初めてAWSにアクセスした初学者が、無数に飛び交う未知の横文字を書き留めた備忘録です。
各用語に関する説明は初学者の私でも理解できるように噛み砕いていますが、不十分であったり誤っている場合はコメントにて訂正や補足をしていただけると幸いです。#用語一覧
##VPC
Virtual Private Cloudの略です。サーバーやネットワーク機器などを物理的な機器ではなく、仮想空間上でネットワークを構築するものです。##EC2
Elastic Computer Cloudの略です。CPUやメモリなどが備え付けてある仮想サーバーです。LinuxやWindowsなどのOSをインストールすることもできます。##サブネット
VPC内におけるグループのことです。外部に公開するもの(public)としないもの(private)で分けるために使います。##Webサーバー
ブラウザやアプリからのリクエストに対し、HTMLやRubyの実行結果を返すサーバーです。サーバーはSer
AWS Certified Database – Specialty 合格体験記
## はじめに
AWSJでソリューションアーキテクトをしているy-sugichanです。
2021年11月に、AWS認定データベース試験に合格したので、勉強法などを残しておきたいと思います。
過去の記事はこちら。
[AWS認定ソリューションアーキテクト – プロフェッショナル 合格体験記](https://qiita.com/y-sugichan/items/93f9cf9f83a91d98addd)
[AWS認定DevOpsエンジニア – プロフェッショナル 合格体験記](https://qiita.com/y-sugichan/items/50fe317e2e6b4d2905ce)今回も、みなさまのご参考になれば幸いです。
## まずは結果から
スコア：**832**（750で合格）
▶想定よりも悪くて落ち込みました・・・試験結果詳細：以下のとおりです。
| セクション | スコア | 再学習の必要あり | 十分な知識を有する |
|:– |:–:|:–:|:–:|
|分野 1:ワークロード固有のデータベース設計|22%||○|
|分野 2:展開および移
ECS タスクから秘匿情報を参照するベストプラクティス
こんにちは。
[SO Technologies](https://developer.so-tech.co.jp/) で新規プロダクト開発のテックリードとして働いている島田です。## ECS タスクからの秘匿情報の参照について
現在開発しているアプリケーションは、ECS + Fargate で実行するようになっています。
開発の際に調べたところ、AWS 公式の見解としては、秘匿情報の扱いに関して、それらをまず AWS Secrets Manager 及び AWS Systems Manager Parameter Store に格納し、その後コンテナの環境変数として参照できるようにする方法が推奨されていました[^1] 。この記事では、上記の方法で秘匿情報を扱うための手順と、その方法のメリット・デメリットについて書いていきます。
### 前提条件
上記の通り、アプリケーションの実行には ECS + Fargate を用いています。
また、ECS のものを含めたインフラ定義のほとんどは Terraform を用いてコード化されています。加えて、秘匿情報の格納には Secr
GPSマルチユニットSORACOM Edition を使って、自宅のドアの鍵を開けよう。
# はじめに
自宅に近づいたらドアの鍵が自動で開いたらいいなとの思いから開発しました。
# 構成図
# 解説
1. みちびきからGPS情報を取得
1. GPSマルチユニットで受信し、SORACOMに送信
1. 受け取った情報から、SORACOM Funkを起動
1. SORACOM Funkから、AWS Lambdaを実行
1. Lambdaで受け取ったGPS情報から、Amazon Location Service [Places](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/location.html#LocationService.Client.search_place_index_for_posit
AWS Amazon Linux2 インスタンスに samtools・bcftools をインストールする
# 初めに
今回は samtools と bcftools を Linux 2 インスタンスにインストールする手順について書きます。
ユーザーは ec2-user、ボリュームは 100 GiB の gp2 を使用しました。デフォルトの 8 GiB では前回足りなくなりました。
前回は BWA を Linux 2 インスタンスにインストールしました。
https://qiita.com/quryu/items/e713fefb645b0283580a
# samtools をインストールする
以下のページからファイルをダウンロードします。
http://www.htslib.org/download/
必要なパッケージをインストールします。
“`
sudo yum install ncurses-devel
sudo yum inst
30代未経験エンジニア転職でも入社１年でAWS SAPに合格できました。どんな対策したか全部書きます。
## 1. キミ誰？
国語、英語、世界史の文系セットで大学受験して、大手メーカーで事務系総合職を10年間経験。その後フランスなどをふらふらしてた者です。
2021年1月に福岡のITエンジニア集団Fusicに36歳で未経験エンジニアとして拾っていただき、入社３ヶ月でAWS SAAを取得しましたが、この度12月にAWS SAPに合格することができました。
（参考記事：[未経験入社３ヶ月でAWSソリューションアーキテクトアソシエイト（SAA）に合格できた内情を記します](https://qiita.com/kakudaisuke/items/c8a063c3833518861a25)）「どや！」と肩で風を切って街を歩きたいところなのですが、これは自分ひとりの力ではなく、完全にFusicという組織の力です。
ま、そうは言うものの自分もそれなりに頑張ったので、どんな対策をしたのか、その中で何が効果あったのかメモしておきたいと思います。
## 2. 僕の対策の概要
全体
– 試験日までの対策スケジュールをGoogle Sheetで作った。
– 計画と実績がずれてきたら都度修正。
–
AWS認定ソリューションアーキテクトアソシエイトの勉強法まとめ
# はじめに
2021/12にAWS認定ソリューションアーキテクト アソシエイトの試験に合格したので、メモとして勉強法をまとめておく。### 学習時間
AWSについては、EC2やDBを少し使用したことがある程度で、ほぼAWSについては知識ゼロベースで学習を開始。
アソシエイトの学習時間は3ヶ月、ざっくり、100時間ほどで、隙間時間に無料オンライン問題を行った。### 勉強方法
基本、Udemy + AWS公式模擬試験 + オンライン問題 (+ たまに動画)。– Udemy(有料) Udemyセール時に購入
– 基本講義部分で学習を進め、分かりにくいと思ったサービスはAWSの無料範囲内でハンズオンを実施
– 各サービスの学習の後、まとめ問題を実施(まとめ問題で結果が悪い場合、やり直し)
– 学習の際は「なぜこのサービスや構成を選定するのか」を意識して学習した。
– 総合テストとして、Udemyの模擬試験を実施（合格レベルに達するまでやり直し)
– 以下使用した講座
– 「これだけでOK！ AWS 認定ソリューションアーキ
【一眼で確認するだけの】 NATインスタンスと、NATゲートウェイの違い
### NATインスタンス
* プライベートIPから、グローバルIPへの変換を行う
* NATゲートウェイでは出来ない、踏み台サーバーやポート転送を行える
* ユーザーが管理
* パブリックIP or EIP
* 実態はEC2（セキュリティグループ使用可能）### NATゲートウェイ
* VPC内のプライベートサブネットから、インターネットへアクセスする際に使用
* パブリックサブネットに配置する
* AWSが管理
* EIPのみ
* セキュリティグループ使用不可https://docs.aws.amazon.com/ja_jp/vpc/latest/userguide/vpc-nat-comparison.html
Amazon SageMaker Inference Recommender でより適切な推論インスタンスを見つけたい
# はじめに
AWS Re:Invent 2021 で Amazon SageMaker の新しい機能がいくつか発表されましたが、この記事ではその中の [Amazon SageMaker Inference Recommender](https://aws.amazon.com/jp/blogs/news/announcing-amazon-sagemaker-inference-recommender) について [こちらのサンプルコード](https://github.com/aws/amazon-sagemaker-examples/blob/master/sagemaker-inference-recommender/inference-recommender.ipynb) を実行しながら何ができるのかを紐解いていきたいと思います。以降では、Amazon SagMaker ノートブックインスタンスを使用してサンプルノートブックを実行していきます。サンプルノートブックは Amazon SageMaker Studio で実行しました。SageMaker Studio のセット
【AWS】S3 CLI オブジェクトにタグをつける方法
明けましておめでとう御座います。2021年末は、プロジェクトの炎上により、大晦日まで仕事でした。
#やりたかったこと
S3へオブジェクト（画像ファイル）をアップロードし、それとあわせてオブジェクトにタグを付与する。
※なお、今回は「S3RVER」というモックS3にアップする方法です。#ハマった点
一生懸命、1コマンドでアップロードとタグつけをしようとしてましたが、どうも同時にできないようでした。#解決できたコマンド
まずはオブジェクトをS3にアップロードし、アップロードしたオブジェクトにタグをつけるという２ステップが必要でした。“`sh
#アップロード$ aws –endpoint http://localhost:4568/ s3api put-object –bucket バケット名 –key アップ後のオブジェクトのパス –body アップするファイルのフルパス –content-type image/jpg –profile s3local
“`“`sh
#タグ付与$ aws –endpoint http://localhos
QuickSight と Azure AD を使って、SP Initiated SSO をやってみた
# SP Initiated SSO とは
QuickSight は、直接 QuickSight にログインする URL が公開されています。
https://quicksight.aws.amazon.com/
SP Initiated SSO に関する設定を有効にするとこで、直接の QuickSight のログインを禁止することが出来、IdP 経由のログインを強制できます。具体的な例があるとわかりやすいとおもうので、SP Initiated SSO を使わない通常の構成の画面を使って説明をしていきます。
**通常の構成の場合**
この URL にアクセスすると、QuickSight のアカウント名を入力できる画面が開かれます。
アカウント名を入れたのちに、Quic
QuickSight の自己プロビジョニングをフェデレーション環境でやってみた QuickSight編
# はじめに
QuickSight を会社全体に展開しようと思った時に、重要な検討事項の一つにアカウント管理があります。QuickSight 上でローカルユーザーを作成出来ますが、新入社員や退職などに追従するのは大変です。そこで会社全体として使っているアカウント管理基盤が、SAML や OpenID Connect が使える場合、これとQuickSight を連携することが出来ます。
[前の記事](https://qiita.com/sugimount-a/items/a838c84118703527415b)では、Azure AD と連携して AWS マネージメントコンソールに SSO ログインをできるようにしました。Azure AD に登録されている User を使ってログインすることで、AWS マネージメントコンソールにアクセスできます。しかし、会社全体に展開することを考えたときに、QuickSight は許可するが、AWS マネージメントコンソールは禁止したい場合もあります。
ということで、Azure AD と QucikSight を連携して、Azure AD 上のユー
Lambda layersでAWS SDKを使用できるようにする
#ゴール
Lambda上でNode.jsのライブラリ(今回はaws-sdk)を使用できるようにする#前提
・LambdaのランタイムはNode.js 14.x
・OSはWindows(10 Pro)#やることたち
①node_modulesのライブラリをDL
②ZipしてLambda layersに登録#①node_modulesのライブラリをDL
・コマンドプロンプトを開く・「nodejs」という名前のディレクトリを作成
“`
mkdir nodejs
“`・ディレクトリ「nodejs」を選択する
“`
cd nodejs
“`・npm(Node Package Manager)を初期化する(設定情報の入力を求められるがすべてEnterでスキップしてもよい)
“`
npm init
“`・aws-sdkをインストールする(Node.jsにてほかのライブラリを使用する場合は一緒にインストールしておきましょう)
“`
npm install aws-sdk
“`#②ZipしてLambda layersに登録
・①でaws-sdkをイ
Lambdaから同一アカウント内のEC2インスタンス情報を取得する
#ゴール
1つのAWSアカウント内にあるEC2インスタンスの情報を取得する#前提
・EC2にインスタンスが1つ以上存在する
・LambdaのランタイムはNode.js 14.x
・OSはWindows(10 Pro)#やることたち
①Lambda関数を作成する
②Lambdaのレイヤーを作成
③Lambda関数に割り当てたロールの権限を設定する
④コードを書き、実行する#①Lambda関数を作成する
・コンソール画面からLambdaの画面を開き、「関数の作成」を押下する
・「一から作成」を選択
AWS EC2 にボリュームを追加する・ボリュームを変更する
# 背景
ファイルコピーなどで `No space left on device` というメッセージが表示された場合、インスタンスにアタッチされている EBS ボリュームが使用容量いっぱいなので追加する必要があります。
“`
$ cp file1 file2
cp: cannot create regular file ‘file2’: No space left on device
“`ファイルシステムの使用状況を確認してみます。ルートファイルシステムの使用率が 100 % になっています。
“`
$ df -h
Filesystem Size Used Avail Use% Mounted on
devtmpfs 462M 0 462M 0% /dev
tmpfs 471M 0 471M 0% /dev/shm
tmpfs 471M 13M 458M 3% /run
tmpfs 471M 0 471M 0% /sys/fs/cgr
PearsonVUEのシステムテストでvmwpが消えてくれない件
ピアソンVUEの試験システムであるOnVUEで事前システムテストする際に「vmwp」が起動していると事前テストが開始できない問題が発生
タスクマネージャーを起動させて終了しようとするとタスクマネージャーも落とせと言われ問題増加…
PowerShellでタスクキルしてみようとするも権限が足りないのかキル不可
管理者権限でPowerShellを起動して強制削除するもすぐに起動してしまう多分仮想マシン関係だと思うけどVMwareも起動してないしどうしたものか…と悩んでいたが、最近インストールしたそれっぽいものはDockerしかないので犯人決め打ち
起動時にDockerを立ち上げないようすることで「vmwp.exe」も起動しなくなった
（ググった所少し前のバージョンまでWindows版Dockerでは起動時立ち上げ☒を外しても起動していた模様）
無事OnVUEの事前システムテストが
