- 1. 【AWS】HomebrewにAWSCLIをインストールするには？
- 2. AWS SSO で委任された管理者アカウントを設定しよう
- 3. Unity:S3から複数の動画を選択しストリーミング再生する方法
- 4. S3のファイルをCLIで一括ダウンロード ( + IAM最小権限の設定)
- 5. 【AWS】AWS認証情報の設定方法/保管場所/優先順位を理解する。
- 6. メモ：Amazon Managed Blockchainの環境構築を目指す。
- 7. AWS S3 の料金が徐々に高くなっていた
- 8. 【初心者】特徴量エンジニアリング（トークナイゼーション）について調べてみた。
- 9. 【AWS】署名付き URL を使用した S3 オブジェクトの共有を試しました
- 10. 検証用AWSアカウントでGuardDutyと闘う話 〜怒りのVPN編〜
- 11. 【AWS】CloudTrailログをAthenaで分析してみました
- 12. AWS Certified DevOps Engineer – Professional（DOP）に合格しましたので参考にした資料共有
- 13. 【AWS】EFSをEC2（Amazon Linux）にマウントする
- 14. Action Cableで作ったリアルタイムチャットをECS(Fargate)上で動作させる
- 15. 【初心者】特徴量エンジニアリング（データのビニング）について調べてみた
- 16. AWS EC2 自動化 自動起動・自動停止を設定してみよう
- 17. 【AWS】S3のストレージクラスについて
- 18. DR戦略(AWS)
- 19. 閉じこもり (Proxy) 環境の EKS で actions-runner-controller を動かしたい
- 20. 【個人開発】ショートカットキー学習サービス作ってみた。(コード公開予定)【Next.js, Laravel, AWS】
【AWS】HomebrewにAWSCLIをインストールするには？
# はじめに
実際の業務でHomebrewにAWSCLIを準備する機会がありました。
その準備をする際にやっていた手順について書きたいと思います。# AWSCLIとは？
AWSCLIとは、AWSサービスをコマンドラインで管理するためのツールになります。以下の各OSにインストールをして、使用することが可能です。
– Linux
– macOS
– Windows今回は、macOSのHomebrewにAWSCLIをインストールする手順についてご紹介します。
# 前提
| 項目 | 内容 |
| —- | —- |
| OS | macOS Monterey バージョン 12.3.1 |
| Homebrew | 3.4.10 |“`zsh:Homebrew
ma-sato@satsuton ~ % brew -v
Homebrew 3.4.10
Homebrew/homebrew-core (git revision e657c47b69a; last commit 2022-05-05)
Homebrew/homebrew-cask
AWS SSO で委任された管理者アカウントを設定しよう
## 何が嬉しいのか
AWS SSO で委任された管理者として組織のメンバーアカウントを設定できるようになりました ???https://aws.amazon.com/jp/about-aws/whats-new/2022/05/aws-sign-on-administer-delegated-member-account-in-organization/
AWS SSO は組織の管理アカウントに作成されます。そのためこれまではユーザーやグループの割り当てを操作する担当者に管理アカウントへのアクセス権限を与える必要がありました。このアップデートによりそれらの管理作業を組織のメンバーアカウントで実施できるようになります。管理アカウントへのアクセス権限を与える人数を最小限に抑えることが可能になり、最小特権の原則のベストプラクティスを実践しやすくなります。
## 留意点
委任された管理者アカウントでは以下のタスクを実行できません。* 管理アカウントのユーザーアクセスの管理
* 管理アカウントでプロビジョニングされたアクセス許可セットの管理
* AWS SSO の有効化、設定の削除
Unity:S3から複数の動画を選択しストリーミング再生する方法
# S3に置いた動画データを選択して配信する
S3に置いた複数の動画データから配信する動画を選択する方法についてまとめます。## 実装したもの
AWSのS3上の動画ファイルを動画を選択してストリーミング再生する実装に成功！
GWにやったAWSの勉強がさっそく生きて嬉しい。
動画は当院のInstagramとTikTok(@dr_teru_ortho)に載せている、当院スタッフが作成した動画。#protooutS3のファイルをCLIで一括ダウンロード ( + IAM最小権限の設定)# はじめに
S3ファイルを複数ダウンロード一括でダウンロードするには、コンソールでは対応できず、CLIでできるようなので、IAMユーザーを最小権限で実行する方法をまとめます。ついでにアップロードもできるようにします。
# 事前設定
S3バケット名`bucket-name`を作成し、バケット内に`/json/test.json`を作成# CLIのセットアップ設定
下記の記事通りに設定します。
https://blackbird-blog.com/setup-aws-cli
上記記事の内、一部設定を変えます。
– profile名は、`s3-download`
– IAMユーザー名を`s3-download`
– IAMユーザーの権限は、次項に記載しています。# IAMユーザー権限
## Action権限最小 + バケットを制限 + IP制限
S3のバケットの内`bucket-name`というバケット内のファイルのみを許可
“`json
{
“Version”: “2012-10-17”,
“Statement”: [
{
“Sid【AWS】AWS認証情報の設定方法/保管場所/優先順位を理解する。
# まえがき
なんとなくで使ってきたAWS認証情報設定周りについてちゃんと理解する。# AWS CLIインストール
[ここ](https://docs.aws.amazon.com/ja_jp/cli/latest/userguide/getting-started-install.html)からインストールする。
“`
% aws –version
aws-cli/2.0.50 Python/3.7.4 Darwin/20.6.0 exe/x86_64
“`# まずは aws configure で認証情報を設定してみる
とりあえず適当な値を入れてみよう。
“`
% aws configure
AWS Access Key ID [None]: AccessKeyId
AWS Secret Access Key [None]: SecretAccesskey
Default region name [None]: Tokyo
Default output format [None]: json
“`
上記コマンドを実行すると、下記2ファイルが生成される。
|
メモ：Amazon Managed Blockchainの環境構築を目指す。
※サブネット作成で詰まっているので調査中です。
# 下準備
## VPCを作成
まずはVPCを作成します。
VPCはAWS上に作成できる仮想ネットワーク空間です。下の画像左上のVPCウィザードを起動を押下します。
VPCの設定を行います。
VPCの設定の各入力欄は下のように入れています。
* 名前タグ-オプション：(任意のVPC名)
* IPv4 CIDRブロック：10.0.0.0/16
* IPv6 CIDRブロック：IPv6 CIDR ブロックなし(デフォルト)
* テナンシー：(デフォ
AWS S3 の料金が徐々に高くなっていた
AWS の料金がここ数か月だんだん増えていました。円安のせいかなと思って過去の明細も調べてみたところ、ドル建てでも増えていました。結論として AWS S3 の非現行バージョンが溜まっていって課金が増えていたのですが、もしかしたら同様の方もいらっしゃるかもしれないので顛末をまとめておきます。
## 料金の様子
2021年11月までは 1 USD 前後だった S3 の料金が12月以降は増加し、2022年4月時点では 3 USD を超えてしまいました。なお、S3 の料金よりも EC2 の方が高いですが、こちらは用途を把握しているものなので問題ありません。
## S3 の用途
S3 はいくつかの用途で使っているのですが、一番容量を食っているのは自宅サーバのバックアップです。週次でホームディレクトリ以下を `backup_YYYYMMDD.tar.
【初心者】特徴量エンジニアリング（トークナイゼーション）について調べてみた。
# 背景・目的
私は、現在データエンジニアリングを生業としています。普段は、データ基盤の構築や、パフォーマンスチューニングなどビックデータに関する業務に従事しています。
ビックデータの収集や、蓄積、分析などの環境構築の経験はそこそこありますが、機械学習による予測や分類などのスキルは持ち合わせていませんでした。
今まで機械学習を避け続けてきましたが、一念発起し学ぼうと思います。学び方としては、AWS Certified Machine Learning – Specialty（以降、ML試験という。）の勉強を通して、理解を深めていきます。ML試験のガイドの第２分野に、探索的データ解析が登場しましたのでそこから学びたいと思います。
今回は、以下のうち**トークナイゼーション**について学びたいと思います。
> 特徴エンジニアリングの概念を分析/評価する (データのビニング、トークナイゼーション、外れ値、合成的特徴、One-Hot エンコーディング、次元低減)
なお、過去の機械学習の調べてみたシリースは下記にまとめています。
– 2.探索的データ分析
– 2.1.モデリング用のデー
【AWS】署名付き URL を使用した S3 オブジェクトの共有を試しました
# はじめに
基本的に S3 に保存しているオブジェクトはプライベートアクセスとなっており、所有者からしかアクセスできません。ただ、プライベートアクセスにもかかわらず、署名付き URL を発行することで、他者と共有することができます。以下公式サイト上の説明を引用します。
>デフォルトでは、すべての S3 オブジェクトがプライベートです。オブジェクトの所有者のみがそれらにアクセスする許可を持ちます。ただし、オブジェクトの所有者はオプションで他ユーザーとオブジェクトを共有することができます。その場合は、署名付き URL を作成し、独自のセキュリティ証明書を使用して、オブジェクトをダウンロードするための期限付きの許可を相手に付与します。本記事は、 EC2 から S3 バケットを作成し、そこにオブジェクトを置いて、署名付きURLを発行してアクセス動作を実現します。
EC2 の OS は Amazon Linux 2# １．EC2用IAMロールの作成と付与
EC2用のIAMロールに、以下のポリシーを付与してください。
“AmazonS3FullAccess“
2022年春、桜は散り新緑が眩しくなってきたある日、1通のSlack DMが届いた。月曜の朝の出来事だった。
メッセージの送り主はそう、インシデントレスポンスチームからである。
英語のメッセージで捲し立てられたが、要約するとこう↓いうことである。
> SSHのアクセスがパブリックになってるせいでSSH Brute Force受けたぞ。セキュリティグループのSSH消しといたンだわ。こっちはまだ日曜の夕方なんだ。変なアラート出さすなよ。
誠にごめんなさい。
[前回の記事](https://qiita.com/kikeyama/items/8d694725a43272bed3e8)で書いたPublic SubnetのSSH `0.0.0.0/0` が原因で攻撃を受けたらしい。
GuardDutyを確認してみると、これまた某国からの攻撃だった。
**SSH B
【AWS】CloudTrailログをAthenaで分析してみました
# はじめに
今回はCloudTrailに保管しているS3オブジェクトを、Athenaで分析してみました。
個人的にはじめてAthenaを使ってみたので、備忘録として記録しておきたいです。事前準備としては、
・CloudTrailを有効化し、ログをS3バケットに保管するよう設定します。
・Athena用のS3を作っておきます。S3作成後に、Athena設定画面の「クエリの結果と暗号化の設定」で当S3を指定します。# １．AthenaのDB作成
使ったコマンドは下記です。
“`sql
CREATE DATABASE myathenadbtest
“`
このような感じで、DBを作成しました。
作成完了後に、データベースを上記で作った“myathenadbtest“を選択します。
上で動作させる
# 前提
フロントエンド・バックエンドを分離してアプリを作成
ローカル環境チャット機能実装済み# 本番で動くよう修正
修正するファイルは４つ
– cable.yml
– nginx.conf
– production.rb
– createConsumerしているファイル（この場合communities/_id.vue)“`cable.yml
development:
adapter: asynctest:
adapter: testproduction:
adapter: async # 使用したいアダプタを書く（redisが望ましいが、動作チェックのため一時的にasync使用）
“`“`nginx.conf
…
upstream hoge {
server unix:///app/tmp/sockets/puma.sock;
}server {
…
# ここから追記
location /cable {
proxy_pass http://hoge/cable; # upstr
【初心者】特徴量エンジニアリング（データのビニング）について調べてみた
# 背景・目的
私は、現在データエンジニアリングを生業としています。普段は、データ基盤の構築や、パフォーマンスチューニングなどビックデータに関する業務に従事しています。
ビックデータの収集や、蓄積、分析などの環境構築の経験はそこそこありますが、機械学習による予測や分類などのスキルは持ち合わせていませんでした。
今まで機械学習を避け続けてきましたが、一念発起し学ぼうと思います。学び方としては、AWS Certified Machine Learning – Specialty（以降、ML試験という。）の勉強を通して、理解を深めていきます。ML試験のガイドの第２分野に、探索的データ解析が登場しましたのでそこから学びたいと思います。
今回は、以下のうちデータのビニングについて学びたいと思います。
> 特徴エンジニアリングの概念を分析/評価する (データのビニング、トークナイゼーション、外れ値、合成的特徴、One-Hot エンコーディング、次元低減)
なお、過去の機械学習の調べてみたシリースは下記にまとめています。
– 2.探索的データ分析
– 2.1.モデリング用のデータをサニタ
AWS EC2 自動化 自動起動・自動停止を設定してみよう
## はじめに
今回は特定のEC2インスタンスに対して、毎日決まった時間帯のみ自動起動するという設定していきたいと思います。
なんでそんな事をするのか？その理由としては、
・EC2インスタンスは起動している時間の分だけ料金が発生するので、誰も使用しない時間の起動はもったいない…！
・手動の運用だとうっかり停止を忘れてしまったり、誤った操作をしてしまうことも…！などがあり、改善していきたいという要望から今回の設定をしていきます！
※本記事は2022年5月時点のAWS画面となります。
—
## 手順
① IAMロールの作成
② Amazon EventBridge イベントのルール作成（自動起動）
③ Amazon EventBridge イベントルールを作成（自動停止）—
## やってみよう
① IAMロールの作成
IAM画面より、ロール→ロールを作成
# 基本用語
– DR(Disaster Recovery): 災害時などにおけるシステムの復旧について考えること
– BCP(Business continuity plan): システムの復旧を含む事業全体の継続について考えること– RTO(Recovery Time Objective): 復旧までかかる時間
– RPO(Recovery Point Objective): 復旧時の最新状態。5分間隔でバックアップを取っていれば失われるデータは5分に抑えられるが、1日単位のバックアップだと24時間分失う可能性がある。
– RLO(Recovery Level Objective): どこまで復旧させるかのレベル。障害発生時の復旧優先度を決めておく# AWSにおける戦略
引用元：https://aws.amazon.com/jp/blogs/architecture/disaster-recovery-dr-architecture-on-aws-part-i-strategies-for-recovery-in-the-cloud/## マルチAZ戦略
> すべ
閉じこもり (Proxy) 環境の EKS で actions-runner-controller を動かしたい
## 本記事の構成
やりたいことは主に以下の 2 点です。* プライベートアクセス専用の EKS クラスターで actions-runner-controller を動作させたい
* GitHub API との通信はオンプレミスのプロキシサーバーを経由する以下の構成で検証しています。
* Amazon EKS: Kubernetes 1.22
* actions-runner-controller: v0.23.0
* cert-manager v1.8.0
* eksctl: 0.93.0
* kubectl: v1.21.2
* AWS CLI: 2.5.7
## actions-runner-controller とは
Kubernetes クラスター上で GitHub Actions の self-hosted runner
【個人開発】ショートカットキー学習サービス作ってみた。(コード公開予定)【Next.js, Laravel, AWS】
以前にも数記事書いたことがあるのですが、アカウントを変更し初投稿になります。
特にバズっていたわけではありませんが、以前の記事は[こちらの技術ブログ](https://ramble.impl.co.jp/author/36/)へ移行しました。今回は表題の個人開発についてまとめました。
# 目次
[はじめに](#はじめに)
[使用技術と使用サービス](#使用技術と使用サービス)
[サービス紹介](#サービス紹介)
[利用方法](#利用方法)
[おわりに](#おわりに)# はじめに
まず今回作成したものは[こちら](https://ks-typing.tk)です。今回個人開発をした理由として、**自分のスキル定着・自分ができることを形にしたい**からです。
実務経験が1年に達した際に着手し、約3ヶ月間(1日に1-2時間×週に5日間)で作成しました。
「需要がある」「マネタイズがしっかりできている」「バグや無くレスポンスが良い」などは一切考慮してません。
そのようなことまで考えると壁が高すぎて形にする前に挫折すると思ったからです。
=> 本来であればAWSは東京リージョン
