- 1. KubernetesにおいてのAWSリソースのアクセス管理
- 2. AWS lambda でgoogle spread sheetを操作したくなったのでやってみた [その2]
- 3. AWS lambda でgoogle spread sheetを操作したくなったのでやってみた [その1]
- 4. SIEM on Amazon Elasticsearch Serviceを利用する
- 5. 【AWS入門】RDSによるMySQL環境の構築
- 6. 知識メモ
- 7. SAP模擬試験1
- 8. 【OpenShift Container Platform】oc login時のトークン更新
- 9. 【0からCircleCIに挑戦】CircleCI・AWS(ECR・ECS)で自動デプロイ
- 10. 【Amazon RDS】データベース作成時にエラー
- 11. MACローカルで公開鍵を作りたい時備忘録(AWSとか用に)
- 12. 【資格】AWS クラウドプラクティショナー
- 13. AWSのNLBだけでgRPCの負荷分散ができなかった話
- 14. WinSCPでAmazon S3にアクセス
- 15. AWSSAAに受かった時の嬉しさを書く
- 16. 【0からCircleCIに挑戦】AWSのECR・ECSを理解する
- 17. 【AWS入門】EC2インスタンス上に.NET Core + nginx環境を構築
- 18. AWS S3 Macローカルのディレクトリを任意のバケットに同期する
- 19. AWS Certified Advanced Networking – Specialty 合格記録
- 20. EC2のCPU使用率が上がらない件
KubernetesにおいてのAWSリソースのアクセス管理
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/614998/b73aebf1-ca55-d0f5-48bb-31d15cdb10d2.png)
#はじめに
Kubernetesは、マシンを最大限に活用できるオープンソースのコンテナオーケストレーションシステムです。 ただし、Kubernetesを使用すると、さまざまなAmazon Webサービス(AWS)へのポッドのアクセスを管理するという問題が発生します。 この記事では、特定のツールを使用してこれらの問題を克服する方法について説明します。 カバーする記事の内容は次のとおりです。– アクセスの管理が問題になる理由
– Kube2iamを介したアクセスの管理
– KIAMを介したアクセスの管理
– サービスアカウントのIAMロール(IRSA)#AWSサービスへのアクセスの管理が問題になるのはなぜなのか?
想像してみてください。Kubernetesノードは、AWSDynamoDBテーブルへのアクセスを必要とするアプリケーションポッ
AWS lambda でgoogle spread sheetを操作したくなったのでやってみた [その2]
## 概要
前回の記事の続きです。
前回は下半分を作成したので今回は上半分を作成していきます![Untitled (1).png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/344266/49ee362c-b673-10e9-130b-a6cde4288473.png)
## serverless framework 環境
### 動作環境
npm (6.14.8) : 古くなければ…
serverless (2.8.0) : 2.x.x系であれば
python (3.8.2) :3.8系であれば## 構成
以下、serverless frameworkを知っている方、pythonがなんとなくわかる方向けに
説明は省いております。ご参考程度にご覧ください。“`
functions/layers/serverless.yml # 構成ファイル
functions/layers/package.json # パッケージ関連
functions/layers/req
AWS lambda でgoogle spread sheetを操作したくなったのでやってみた [その1]
## 概要
表題そのままなのですが、google spread sheet って、なんかGAS(Google Apps Script)で操作する。
そんな固定観念があったんですが、今回はAWS lambda (Python)で操作したくなったのでやってみました。別にGCPだけでも完結しますが、、、`AWS慣れているので使いたかった。それだけです(笑)`
## 構成
構成はシンプルです。
![Untitled (1).png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/344266/ab4a725f-616c-31c6-c3ea-62d904963c6b.png)
GCP側で作成した認証情報は、暗号化してAWS Secrets Managerに保持します。
lambdaのコードに認証key直書きとかはやめたほうが吉…## 準備
### GCP側の認証を作成する
AWSでいうところのIAMのkeyを作成する感じです。まずは[GCPのコンソール](https://console.cl
SIEM on Amazon Elasticsearch Serviceを利用する
https://aws.amazon.com/jp/blogs/news/siem-on-amazon-elasticsearch-service/
AWSの方がセキュリティ観点の可視化とログ分析の解決策を公開しました。このようなサービスは大変お高い印象がありますが、AWSのサービス上で構築するため規模に合わせた課金額になります。(ログ量に比例するため小規模のシステムでも導入できるはず)
**aws-samples / siem-on-amazon-elasticsearch**
https://github.com/aws-samples/siem-on-amazon-elasticsearchログの可視化と分析においてログ出力/蓄積/サービスごとに重複したログの消し込みなど導入までにやらなければならないことが非常に多いですが、CloudFormationのテンプレートをデプロイすれば利用準備が整い、専用のS3バケットにログを書き込むことであらかじめ用意してあるダッシュボードで可視化できるようになります。
**以下はCloudtrailのテンプレを使った可視化**
デフォ
【AWS入門】RDSによるMySQL環境の構築
[【AWS入門】EC2インスタンス上に.NET Core + nginx環境を構築](https://qiita.com/ashicom/items/c91d65dd5b3a2d23c7ae)の続きです。
今回はRDSを使用したMySQLインスタンスをAWS上に構築し、EC2インスタンス上に配置されたWebアプリから接続するところまでをご紹介しようと思います。
#環境
MySQL 8.0.20#RDSインスタンスの作成
まずはRDSインスタンスを作成していきましょう。
以下手順でRDSのコンソールを開き、データベースの作成メニューを開いてください。1. AWSマネジメントコンソールにログイン
2. 「サービス」の「すべてのサービス」に`RDS`を入力
3. RDSへのリンクが表示されるので押下
4. RDSコンソールが表示されるので、「データベースの作成」を押下以降各セクションごとに説明します。
—
###データベースの作成方法
簡単作成でも問題ありませんが、今回は練習の意味で標準作成を選択します。
![スクリーンショット 2020-10-21 3.32.21.
知識メモ
[](
以下今回使用したリンク集
AWS 認定 高度なネットワーキング合格に向けた知識メモ
)
[SCS]:https://aws.amazon.com/jp/certification/certified-security-specialty/
[ANS]:https://aws.amazon.com/jp/certification/certified-advanced-networking-specialty/#はじめに
AWSを触るようになって早1年。先日鬼弁の甲斐もあって[AWS 認定セキュリティ][SCS]に合格することができました。
次に何を受験しようか悩んでいたものの、社内にはすでにSAPの取得者がワンサカいて面白くない。。。
のでとりあえず認定〇〇シリーズを攻めていこうと思いネットワークの勉強を始めたのですがとてつもなく知識不足(特にDX接続)でしたので勉強したことをまとめてみます。#1. Direct Connect周り
aaaa
a
a
a
SAP模擬試験1
#1
#2
#3
#4
#5
#6
#7
#8
#9
#10
#11
#12
#13
#14
#15
#16
#17
#18
#19
#20
#21
#22
#23
#24
#25
#26
#27
#28
#29
#30
#31
#32
#33
#34
#35
#36
#37
#38
#39
#40
#41
#42
#43
#44
#45
#46
#47
#48
#49
#50
#51
#52
#53
#54
#55
#56
#57
#58
#59
#60
#61
#62
#63
#64
#65
#66
#67
#68
#69
#70
#71
#72
#73
#74
#75
【OpenShift Container Platform】oc login時のトークン更新
# 概要
今回はOpenShift Container Platform(以降OCP)の`oc login`コマンドを実行時にセッションを確立するために使用されるトークンの動きが気になったので、調べた結果を記載する。# 前提
– 検証環境:OpenShift Container Platform 4.3 on AWS
– 作業端末:OCPデプロイ先のVPCのパブリックサブネット内にあるEC2 Amazon Linux2インスタンス
この作業端末にはOCPクラスタに接続するための設定情報kubeconfigファイルが格納されている。# 結論
結論から言うと、CLIのログインコマンド“`
# oc login -u-p “` を使用し、OCPにログインを行うと、OCPの認証情報が格納されているkubeconfigファイルの以下の部分のトークンが更新される。
“`
– name:/api-myopenshift-test-com:6443
user:
token: ********
【0からCircleCIに挑戦】CircleCI・AWS(ECR・ECS)で自動デプロイ
# 背景
未経験から自社開発系企業の就職を目指します。良質なポートフォリオ作成のためCircleCIを勉強することにしました。現状の知識レベルとしては、Ruby on railsを使って簡単なアプリケーション開発、gitを使ったバージョン管理、herokuを使ってデプロイできるレベルです。自分の忘備録かつ、同じくらいのレベルでこれからCircleCIに挑戦してみようと思っている方に向けて少しでも役に立てればと思います。
# 最終目標
git push → CircleCI自動テスト(※実装済み) → テスト合格&masterブランチの場合自動デプロイ【関連記事】
[【0からCircleCIに挑戦】CircleCIの基礎を学ぶ](https://qiita.com/shu1124/items/1c57862c37ff3deb3d57)
[【0からCircleCIに挑戦】自動テストを構築する(Rails6.0・mysql8.0・Rspec)](https://qiita.com/shu1124/items/ed8df69e70bf0b755803)
[【0からCircleCIに挑
【Amazon RDS】データベース作成時にエラー
RDSでデータベース作成時にエラーとなったので対処方法メモ
## データベース作成前の状態
VPC| 名前 | IPv4 CIDR |
|:–|:–|
|my-vpc |10.0.0.0/16 |サブネット
| 名前 | IPv4 CIDRブロック | アベイラビリティゾーン |
|:–|:–|:-:|
|public-subnet |10.0.1.0/24 |ap-northeast-1c|
|private-subnet |10.0.2.0/24 |ap-northeast-1c|セキュリティーグループ
| 名前 | インバウンドルール | 用途 |
|:–|:–|:-:|
|sample-web-sg |SSH(22)とHTTP(80)を許可 |EC2用|## データベース作成の設定情報
– マルチ AZ 配置:スタンバイインスタンスを作成しないでください
– VPC:my-vpc
– パブリックアクセス可能:なし
– VPCセキュリティグループ:新規作成
– セキュリティグループ名:sample-db-sg
– アベイラビリティゾーン:**ap
MACローカルで公開鍵を作りたい時備忘録(AWSとか用に)
#項目
1. 目的(自分用)
2. 流れ# 1.目的
GithubとかAWSとかでsshの公開鍵やらキーペアやらいるよって時の備忘録# 2.流れ
“`bash:ターミナル
$cd
$cd ~/.ssh #無いって言われたら下のコマンドを打つ
$mkdir ~/.ssh
$ssh-keygen -t rsa
“`
この後三回質問されるので、基本的には
**エンター→好きなパスワード→もう一回同じパスワード**でOK“`bash:ターミナル
$ls #中に何かあれば成功
$pbcopy < ~/.ssh/id_rsa.pub ``` 最後のコマンドで公開鍵の中身をコピーしている、これを必要な場所にペーストすればよろしい # 3.終わりに **終わり!**
【資格】AWS クラウドプラクティショナー
AWS クラウドプラクティショナー取得に向けて勉強した情報を記載。
#クラウドとは
クラウドとは、インターネット経由でコンピューティング(仮想サーバー),データベース,ストレージ,アプリケーションなど様々なITリソースをオンデマンドで利用できるサービスの総称#オンプレミス
サーバー,ネットワーク,ソフトウェアなどの設備を自分たちで導入し運用すること#AWSの強み
・固定費が変動費に変わる
リソースを利用したときに利用した分だけ料金を支払う方式にすることができる。・スケールによる大きなコストメリット
AWSのNLBだけでgRPCの負荷分散ができなかった話
2020/5 に Network Loadbalancer(NLB) が TLS ALPN ポリシーに[対応](https://aws.amazon.com/about-aws/whats-new/2020/05/network-load-balancer-now-supports-tls-alpn-policies/)しました。
これに伴い「 envoy とか使わなくても NLB だけで gRPC の負荷分散できんじゃね?」という記事はあるものの、実際に試しているものはなかったので、書きました。# 作った構成
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/107953/09f10fe2-d1c4-c48c-d828-fa83432a3b27.png)別件で、たまたま gRPC-gateway の環境を作っていたため、それを少しカスタマイズして利用しました。
ユーザリクエストが、ALBを経由して grpc-gatewayに着弾します。
gRCP Gatewayでは
WinSCPでAmazon S3にアクセス
Windowsで比較的広く使われているオープンソースのSCPクライアントに「WinSCP」がある。WinSCPはSCPのほかにもSFTP、FTPS等のプロトコルに対応していたが、AWSのオブジェクトストレージサービスであるAmazon S3にも2018年の[5.12.12 RC](https://winscp.net/eng/docs/history_old#5.12.12)で対応、[5.13](https://winscp.net/eng/docs/history_old#5.13)で安定版に組込まれた。
* [WinSCPとは :: WinSCP](https://winscp.net/eng/docs/lang:jp)
* [Amazon S3クライアント機能を搭載した、オープンソースのWindows対応FTPクライアント「WinSCP 5.13」リリース。FTPサーバのようにAmazon S3を操作 - Publickey](https://www.publickey1.jp/blog/18/amazon_s3_winscp_513.html)管理コンソールからのS3アク
AWSSAAに受かった時の嬉しさを書く
##はじめに
##### 今の自分のスキル感
+ 実務4ヶ月程度(メインはバックエンド)
+ AWSたまに触るぐらい(超主要なサービスは理解していた)まだまだ**駆け出しひよっこエンジニア**になります。
10月末にAWSSAAの試験を受けてきました。**(2回目)**
前回(1度目)は9月末に受けましたが、見事に**撃沈**しました。
その時の勉強した事や自分のスキルレベルやスコアは[前回の記事](https://qiita.com/enomotoakira/items/31a2f9cccf6028e2b21b)をご覧ください。##落ちて感じた事
下記が前回の試験結果になります
![スクリーンショット 2020-10-06 8.41.23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/689030/ccac255e-d1ad-ad93-3b75-e98af626ab09.png)
![スクリーンショット 2020-10-06 8.40.21.png](https://qiita-imag
【0からCircleCIに挑戦】AWSのECR・ECSを理解する
# 背景
未経験から自社開発系企業の就職を目指します。良質なポートフォリオ作成のためCircleCIを勉強することにしました。現状の知識レベルとしては、Ruby on railsを使って簡単なアプリケーション開発、gitを使ったバージョン管理、herokuを使ってデプロイできるレベルです。自分の忘備録かつ、同じくらいのレベルでこれからCircleCIに挑戦してみようと思っている方に向けて少しでも役に立てればと思います。
# 最終目標
AWSのECR・ECSを理解する。実際にECRとECSを使ってアプリケーションを手動でデプロイしてみる。【関連記事】
[【0からCircleCIに挑戦】CircleCIの基礎を学ぶ](https://qiita.com/shu1124/items/1c57862c37ff3deb3d57)
[【0からCircleCIに挑戦】自動テストを構築する(Rails6.0・mysql8.0・Rspec)](https://qiita.com/shu1124/items/ed8df69e70bf0b755803)
[【0からCircleCIに挑戦】AWSのE
【AWS入門】EC2インスタンス上に.NET Core + nginx環境を構築
[.NET Core + MySQL + Elasticsearch(Nest)構成でクリーンアーキテクチャなバックエンド開発](https://qiita.com/ashicom/items/1f4ff3fd15193d6388e0) の続きです。
今回はAWSのEC2インスタンス上にWebアプリを配置後、nginxでリバースプロキシするところまでをご紹介しようと思います。
#はじめに
ネットワーク構築とEC2インスタンスの作成が済んでいることが前提となります。
その部分に関しては以下書籍で勉強しましたので合わせてご紹介します。
[Amazon Web Services 基礎からのネットワーク&サーバー](https://www.amazon.co.jp/Amazon-Services-基礎からのネットワーク-サーバー構築-改訂3版/dp/4296105442/ref=asc_df_4296105442/?tag=jpgo-22&linkCode=df0&hvadid=414420639029&hvpos=&hvnetw=g&hvrand=5662919067394440058&
AWS S3 Macローカルのディレクトリを任意のバケットに同期する
# 目的
– AWSのS3の任意のバケットにMacローカルのディレクトリを同期する方法をまとめる
# 実施環境
– ハードウェア環境
| 項目 | 情報 |
| — | — |
| OS | macOS Catalina(10.15.5) |
| ハードウェア | MacBook Pro (13-inch, 2020, Four Thunderbolt 3 ports) |
| プロセッサ | 2 GHz クアッドコアIntel Core i5 |
| メモリ | 32 GB 3733 MHz LPDDR4 |
| グラフィックス | Intel Iris Plus Graphics 1536 MB |– S3
– 下記の方法でバケットを作成した。
– [AWS S3のバケットの作り方](https://qiita.com/miriwo/items/41e488b79fb58fa7c952)# 必要なもの
– バケット作成をしたAWSアカウントのアクセスキーとシークレットアクセスキー(AWSのユーザアカウント登録時にダウンロードされたC
AWS Certified Advanced Networking – Specialty 合格記録
# この記事
**AWS Advanced Networking Specialty** を取得したので
学習内容と感想を記録します。# about me
**インフラエンジニア**で、AWS関連のインフラ構築や保守を3年くらい経験しています。
ネットワークに関してはこの業界でインフラをやることになったきっかけでもあり
その昔研修でルータ設定とサーバ構築を併せて行ったことはあります。
クラウドの業務が大半なのでオンプレ業務経験はそこまでないです。AWS資格は
“`
2019
Solution Architect Associate (7月)
SysOps Administrator Associate (9月)
Solution Architect Professional (11月)
Developer Associate (12月)
2020
DevOps Engineer Professional (3月)
Security Specialty(5月)
Advanced Networking(10月)
“`という順で取得しました。
Networking
EC2のCPU使用率が上がらない件
## 起きたこと
EC2(インスタンスタイプ:t2.micro)で重たい処理を走らせた所、途中までは下図①のようにCPU使用率が100 %まで上がるものの、その先で下図②のように10 %から上がらず処理に時間がかかりました。
プロセスも終了していないし、メモリやネットワーク、RDSなどの使用率も確認したがボトルネックになっているような箇所は見受けられませんでした。## キーワード
– CPUクレジット
– ベースライン使用率
– Unlimitedモード## t2の挙動
### 公式説明
t2の説明文にはこのように書いてあります。
> ベースラインから必要に応じてバースト可能な汎用インスタンスタイプ
参照:[Amazon EC2 T2 インスタンス](h