- 1. クラウドサービスの料金見積ツール
- 2. 【初心者】機械学習の実装と運用について整理してみた
- 3. [やってみた]ちょー個人的なクラウド認定資格のロードマップを作ってみた
- 4. 【初心者】機械学習のモデリングについて整理してみた
- 5. AWS BackupでVMware Cloud on AWSをバックアップ/リストアしてみた #3 (Amazon EC2にリストア)
- 6. 【初心者】モデリング用のデータをサニタイズおよび準備を整理してみた
- 7. 特定のタグがついたEC2インスタンスを自動停止する
- 8. Amazon Time Sync とは
- 9. Databricksアカウントコンソールを用いたPrivateLink構成ワークスペースのデプロイメント
- 10. 【AWS】Unicornの再起動
- 11. CloudFormationでVPCを構築する方法
- 12. Carrierwaveとfog-awsを利用したS3へのアップロードが正常にできるまでに試したこと
- 13. CloudFormationでテンプレートを新規で作成する際の手順
- 14. 【解決】EC2にてアセットファイルをコンパイルしたときにエラーが出た。
- 15. EventBridgeのサンドボックスを使いイベントパターンのチェックを行う。
- 16. Amazon EventBridge Scheduler が提供されたので動作確認してみた
- 17. [AWS Systems Manager] ManagedInstanceとして認識されない謎
- 18. 【AWS】EC2インスタンスへのログイン
- 19. AWS CLI を使用して RDS の「保留中のメンテナンス」をまとめて適用する方法
- 20. AWSの自動バックアップ構築(Data Lifecycle ManagerとCloud Watch)
クラウドサービスの料金見積ツール
パブリッククラウドサービスの料金見積ツールへのリンクです。
仕事で利用することのあるクラウドサービスの料金見積ツールに始まり、興味で見つけた料金見積ツールのリンクを貼り付けています。
## Amazon Web Services (AWS)
https://calculator.aws/#/## Oracle Cloud Infrastructure (OCI)
https://www.oracle.com/jp/cloud/costestimator.htmlTCO試算ツールというのもある。企業全体をクラウド化する場合のコスト規模をつかむことを想定されている。
https://www.oracle.com/jp/cloud/infrastructure/tco-calculator/
## Microsoft Azure
https://azure.microsoft.com/ja-jp/pricing/calculator/## Google Cloud Platform (GCP)
https://cloud.google.com/products/calc
【初心者】機械学習の実装と運用について整理してみた
# 背景・目的
私は、現在データエンジニアリングを生業としています。普段は、データ基盤の構築や、パフォーマンスチューニングなどビックデータに関する業務に従事しています。
ビックデータの収集や、蓄積、分析などの環境構築の経験はそこそこありますが、機械学習による予測や分類などのスキルは持ち合わせていませんでした。
今まで機械学習を避け続けてきましたが、一念発起し学ぼうと思います。学び方としては、AWS Certified Machine Learning – Specialty（以降、ML試験という。）の勉強を通して、理解を深めていきます。ML試験のガイドの第3分野に、第 3 分野: モデリングから学びたいと思います。
今回は、**機械学習の実装と運用**について学びたいと思います。
なお、過去の機械学習の調べてみたシリースは下記にまとめています。
– 2.探索的データ分析
– [2.1.モデリング用のデータをサニタイズおよび準備する](https://qiita.com/zumax/items/d763d39e42520016b241)
– [【初心者】探索的データ解析と
[やってみた]ちょー個人的なクラウド認定資格のロードマップを作ってみた
# [やってみた]ちょー個人的な認定資格ロードマップを作ってみた
## はじまり(作るきっかけ)
ちょー個人的な認定資格ロードマップを作ったけど、図に起こしたほうが良さそうな気がしてきた。
ちなみに認定資格ロードマップなんでAWSだけでなくGoogleCloudなど、他の資格もコミコミで書いてます。?
— Kento.Yamada (@ymd65536) November 20, 2022
こんなことをつぶやいてしまった理由としては社内でAWSとGoogleCloudの有資格者を募っており、最近転職を果たした身としては頑張らないといけないなと思ったからです。
そして、このロードマップを作るキッカケとしては以下のようなキッカケがあります。– Google Cloudはまだひとつも習得したことがない
– AWSの認定はSAAとDVAのみさらに、全ての認定資格を取得する予定ということもあってどの資格から取得してどういう道を辿るかを可視化する為にロードマップを作成しました。
## クラウド認定資格のロードマップ
色々考えて以下のようなロードマップが完成しました。
– [【初心者】探索的データ解析とは何かを調
AWS BackupでVMware Cloud on AWSをバックアップ/リストアしてみた #3 (Amazon EC2にリストア)
# 1. はじめに
「AWS Backup が Amazon EC2 への VMware ワークロードの復元をサポート開始」というアップデートを発見したので、さっそく試してみることにしました。https://aws.amazon.com/jp/about-aws/whats-new/2022/11/aws-backup-restore-vmware-workloads-amazon-ec2/
前回、前々回のブログ記事では「[AWS Backup](https://aws.amazon.com/jp/backup/)」を利用してVMware Cloud on AWS環境上のVMware仮想マシンのバックアップ・リストアをご紹介していました。興味がある方は過去記事もご参照ください。
https://qiita.com/sanjushi003/items/7d250088875463005dd3
https://qiita.com/sanjushi003/items/bda4ee765fafb8fffc9f
なお、EventBridge の新機能に、[Amazon EventBridge Scheduler](https://aws.amazon.com/jp/about-aws/whats-new/2022/11/amazon-eventbridge-launches-new-scheduler/)という機能も登場しましたが、今回は既存の Amazon EventBrid
Amazon Time Sync とは
## 勉強前イメージ
最近出たやつな気がする
## 調査
### Amazon Time Sync とは
AWSのサービスで、EC2のインスタンスに時刻情報を送るサービスを提供していました。
[NTP](https://qiita.com/miyuki_samitani/items/68dd667e8b400f8b5732) と呼ばれるサービスでネットワークに接続される機器に時間を同期します。プライベートサブネットにいるインスタンスでインターネットに接続できないEC2がいてもAmazon Time Syncで時間の同期を行うことができるのがこのサービスのメリットになります。
追加でNTP用にNatGatewayなどを構築する必要がありません。今回、2022/11に発表されたのはAmazon Time Syncの対象をEC2のみでしたが
AWS以外の全世界のコンピュータがAmazon Time Syncを使えるようになりました。
公開NTPサービスとして使えるようになったということです。## 勉強後イメージ
最近でたサービスちゃうやん・・・たまたま見たから。。。。。
Databricksアカウントコンソールを用いたPrivateLink構成ワークスペースのデプロイメント
AWSでDatabricksのワークスペースをデプロイする際、AWSのPrivateLinkを用いた構成を組むことができます。
最近まではREST APIを呼び出してデプロイを行う必要があり正直大変でしたが、最近ではDatabricksアカウントコンソールでデプロイができる様になっているので、ここではそのデプロイ方法をウォークスルーします。
REST APIを用いたデプロイに関してはこちらに記載しています(古くなっているので時間がある時にアップデートしたいところですが)。
https://qiita.com/taka_yayoi/items/c6bdbb6452f6a0895961
https://qiita.com/taka_yayoi/items/1ca54463469df05dd3ee
# AWS側の設定
1. [こちらの手順](https://qiita.com/taka_yayoi/items/1ca54463469df05dd3ee#%E4%BA%8B%E5%89%8D%E6%BA%96%E5%82%99)に沿って、クロスアカウントIAMロール、S3バケットの設
【AWS】Unicornの再起動
# はじめに
rails初学者の者です。オンラインでプログラミングを学習させて頂いてるのですが、さらに理解を深めていきたいと思い、学習したことを備忘録として、残して理解を深めていきたいと思います。
また、間違った点など、ありましたら、ご指摘いただけると幸いです。よろしくお願いします。# unicornの再起動
再起動手順は
①プロセスを確認
②プロセスをkill
③unicorn_railsコマンドを実行
となります。“`bash.ターミナル（EC2内で実行）
[ec2-user@ip-172-31-23-189 <リポジトリ名>]$ ps aux | grep unicornec2-user 17877 0.4 18.1 588472 182840 ? Sl 01:55 0:02 unicorn_rails master -c config/unicorn.rb -E production -D
ec2-user 17881 0.0 17.3 589088 175164 ? Sl 01:55 0:00 unicorn_rail
CloudFormationでVPCを構築する方法
# CloudFromationとは
CloudFormationはプログラミング言語やYAML,JSONを使用してAWSリソースを構築出来るサービスです。
AWS環境をテンプレート化しておくことで、同じ環境を作成する時間を削減することができます。今回はYAMLで作成していきますので、JSONに変換したい方は次の記事をご参照下さい。
YAMLからJSONに変換する方法## 構成図
## 完成したテンプレート
“`:テンプレート
AWSTemplateFormatVe
Carrierwaveとfog-awsを利用したS3へのアップロードが正常にできるまでに試したこと
# 概要
下記の記事を参考に、Carrierwaveとfog-awsを利用したS3へのアップロードができるように設定した。https://qiita.com/take18k_tech/items/2efd778c8dd9aae9496e#10-s3
本番環境へデプロイ後、動作を確認してみると、下記の状況となっていた。
– 画像をアップロードしても、
– S3バケットには何も表示されない
– /var/www/my-app/current/public/uploads配下に保存されている
– アクセスはできるが、CSSが反映されなくなっている# 環境
– アプリ
– ruby 3.0.2
– rails 6.1.4
– mysql 8.0.31– EC2AMI
– Amazon Linux2 AMI
– app server : Unicorn
– web server : Nginx# エラー①
/var/www/my-app/current/logをそれぞれ確認。
関係ありそうなのは下記のログ。
“`va
CloudFormationでテンプレートを新規で作成する際の手順
# CloudFormationとは
CloudFormationはプログラミング言語やYAML,JSONを使用してAWSリソースを構築出来るサービスです。
AWS環境をテンプレート化しておくことで、同じ環境を作成する時間を削減することができます。# CloudFormation新規作成手順
### 1 スタック作成
AWS CloudFormation管理コンソールから、スタックの作成をクリックし、[新しいリソースを使用(標準)]を選択して下さい。
### ２ テンプレート選択
[スタックの作成]で、[テンプレートの準備完了]を選択し、[テンプレートファイルのアップロード]>
[ファイルの選択]で、テンプレートを選択します。
![スクリーンショット 2022-11-22 20.45.
【解決】EC2にてアセットファイルをコンパイルしたときにエラーが出た。
アセットファイルをコンパイルしたときにエラーが出ました。
手こずりましたが、いろいろ調べて解決することができたので、記録したいと思います。“`rails:ターミナル
$ rails assets:precompile RAILS_ENV=production
“`“`rails:ターミナル
yarn install v1.22.19
[1/5] Validating package.json…
error furima_38288@0.1.0: The engine “node” is incompatible with this module. Expected version “14.20.0”. Got “14.21.1”
error Found incompatible module.
info Visit https://yarnpkg.com/en/docs/cli/install for documentation about this command.
“`上記のようにエラーが表示されました。
# エラーの原因
調べた結果、Node.jsの
EventBridgeのサンドボックスを使いイベントパターンのチェックを行う。
# はじめに
先日、`EventBridge`で`CloudTrail`に記録されたイベントを契機にするルールを作成した際、四苦八苦しながら少しだけサンドボックスの機能を使ってみたので、残しておこうと思います。# EventBridgeのサンドボックス機能とは
`EventBridge`のルールを「**イベントパターンを持つルール**」の形式で作成する場合、各サービス等から出力されるイベントに合致するように「**イベントパターン**」を記載して、イベントに合致した場合にルールを実行する動作となりますが、「**イベントパターン**」の記載方法があっているかを確認するためには実際にイベントを発生させて確認する必要があります。ただ、記載方法があっているかを確認するのに毎回イベントを発生させるのは非常に手間なので、2022年3月に新たに「**サンドボックス**」の機能が加わりました。
– 「[Amazon EventBridge がマネジメントコンソールでルールフィルタリングとイベント変換機能の強化を開始](https://aws.amazon.com/jp/about-aws/wh
Amazon EventBridge Scheduler が提供されたので動作確認してみた
# AWS EventBridge Scheduler
https://aws.amazon.com/jp/about-aws/whats-new/2022/11/amazon-eventbridge-launches-new-scheduler/
# 従来
今まで Lambda 等から EC2 や RDS の ECS の定期停止を実行していました。
# アップデート
複雑な処理を実行する場合は引き続き、Lambda を介して実行する必要があると思いますが、EventBridge Scheduler から直接実行できるようになりました。
古いインスタンスせいと思いますが、
色々想定外事象発生することとトラブルシューティングとして記録します。事象としてましては、 件名の通りManagedInstanceにならなかった。
以下は解決できるまでの道のり、、長いので、時間がない方は最後見て頂ければと思います。
– SSMAgentは2.X
ー＞ 最新のSSMAgentを入れました。サービスとして再起動したが、NG
– PROXYのせい
ー＞ 何も
【AWS】EC2インスタンスへのログイン
# はじめに
rails初学者の者です。オンラインでプログラミングを学習させて頂いてるのですが、さらに理解を深めていきたいと思い、学習したことを備忘録として、残して理解を深めていきたいと思います。
また、間違った点など、ありましたら、ご指摘いただけると幸いです。よろしくお願いします。# EC2インスタンスへログイン
EC2インスタンスを作成すると、「ec2-user」というユーザーと対応するssh秘密鍵が生成されます。「ec2-user」を使用してログインします。“`bash.ターミナル（ローカル）
% cd ~
“`
“`bash.ターミナル（ローカル）
% mkdir ~/.ssh# .sshというディレクトリを作成
# File existsとエラーが表示されたとしても、.sshディレクトリは存在しているのということなので、そのまま進みましょう。
“`
“`bash.ターミナル（ローカル）
% mv Downloads/ダウンロードした鍵の名前.pem .ssh/# mvコマンドで、ダウンロードしたpemファイルを、ダウンロードディレクトリから、.ss
AWS CLI を使用して RDS の「保留中のメンテナンス」をまとめて適用する方法
# 準備
あらかじめ AWS CLI に SSO でログインしておきます。
https://qiita.com/gorooe/items/5e20e261693417f723b3# 対象 RDS のリストアップ
保留中のメンテナンスがある RDS の arn を AWS CLI でリストアップします。
“`terminal
aws rds describe-pending-maintenance-actions \
–profile amimoto-ap-northeast-1 \
| jq -r ‘.PendingMaintenanceActions[].ResourceIdentifier’
“`# コマンドでメンテナンスを適用
RDS の arn を指定し、以下を実行します。
RDS の台数分だけ arn とリージョンを変更し実行します。
“`
aws rds apply-pending-maintenance-action \
–resource-identifier RDS-arn \
–apply-action syste
AWSの自動バックアップ構築(Data Lifecycle ManagerとCloud Watch)
# 1．はじめに
業務でAWS EC2インスタンスのバックアップ運用を検討及び設定をしたので、備忘録的にここに書き残します。本記事はAWS初心者が試行錯誤な奮闘記となり、ベストプラクティスではないのでご注意ください。また、監視はAWSサービスを利用しなくても他のサードパーティサービス(もしくはプロダクト)でできると思います。
# 2.利用サービスとその概要
以下に今回のバックアップ自動化において利用したサービスとその簡単な概要を記載します。
**Amazon Data Lifecycle Manager(通称DLM)**
AWS EC2の管理コンソールより設定できるスナップショット/AMIの作成・削除・保持を自動化できる仕組み。
URL:https://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/snapshot-lifecycle.html
**Amazon CloudWatch**
AWSリソースと、AWS上で実行されているアプリケーションをリアルタイムでモニタリングするサービス。
U
