- 1. CloudFormationでEC2を構築した時にEBSにTagsを付与できない
- 2. CloudFormationに日本語コメントを含みたい
- 3. Amazon SageMakerとAzure MLにおける機械学習モデルのサービング技術比較(前編)
- 4. rails new〜デプロイまでの学習レポート
- 5. [OCI]goofysを利用してAWS S3からオブジェクト・ストレージに直接ファイルをコピーしてデータ移行してみた
- 6. 【初心者向け】Rails6で作られたWebアプリをCircleCIを使いAWS ECR・ECSへ自動デプロイする方法②-1 インフラ構築編【コンテナデプロイ】
- 7. SAAに合格したのでどんな感じだったか書いてみる
- 8. zoom会議での話のウケ度を数値化してみた
- 9. AWS BeanstalkでLaravelをデプロイするときにCloudwatch Logsにログを転送する
- 10. TypeScript な サーバーレス Nuxt を API Gateway で動かす
- 11. ELBのポートを考える
- 12. Manajro Linuxにaws-session-manager-pluginをインストールする方法
- 13. [AWS CloudFormation] S3イベント通知先にLambdaを設定(循環依存回避)
- 14. AWSの各サービスをかわいらしく紹介するCM動画があったので、再生リストにまとめました。
- 15. IT未経験でAWS Solution Architect Associateに合格できた話
- 16. Amazon RDS for PostgreSQLの監査ログをCloudWatch Logsに出力する
- 17. AWSを勉強する – VPC
- 18. AWS Lambda を使ってFizzBuzzしたった
- 19. AWS運用日記 初心者が『AWS』触ってみた
- 20. 【AWS】Rails6で作られたWebアプリをCircleCIを使いECR・ECSへ自動デプロイする方法①下準備編【コンテナデプロイ】
CloudFormationでEC2を構築した時にEBSにTagsを付与できない
かゆいところに手が届かない。
“`yaml
BlockDeviceMappings:
– DeviceName: /dev/sda1
Ebs:
VolumeSize: 50
Tags # 不可能
– Key: “keyname1”
Value: “value1”
“`
公式が情報を[ナレッジセンターに出している](https://aws.amazon.com/jp/premiumsupport/knowledge-center/cloudformation-instance-tag-root-volume/)が、余計な情報が多すぎる、ここだけでいい。“`yaml
UserData:
Fn::Base64: !Sub |
#!/bin/bash
AWS_AVAIL_ZONE=$(curl http://169.254.169.254/latest/meta-data/placement/availability-zone)
AWS_REGION=”`echo \”$AWS_AV
CloudFormationに日本語コメントを含みたい
# 前提条件
– Windowsで*.ymlに日本語コメントを含めてAWS CLIを叩いた場合のみ起こる
– マネコンから*.ymlをアップロードした場合は不明
– AWS CLIをインストーラからインストールしている場合のみ起こる
– 結論から言うとインストーラからインストールしているAWS CLIをアンインストールしてpipでgithubからインストールすればいい# テンプレートに日本語コメントを含めるとエラーになる
“`yaml
# これは日本語だ
AWSTemplateFormatVersion: ‘2010-09-09’
Parameters:
Parameter:
Type: NumberResources:
# 日本語だ、これは
Lambda:
Type: ‘AWS::Lambda::Function’
“`こういうテンプレートファイルを`aws cloudformation create-stack –template-body file://hoge.yml –stack-name foo`と実行すると
Amazon SageMakerとAzure MLにおける機械学習モデルのサービング技術比較(前編)
初版: 2020年11月18日
著者: 橋本恭佑、柿田将幸, 株式会社 日立製作所## はじめに
機械学習技術のビジネスへの活用ニーズが高まり、機械学習モデルの開発や運用のライフサイクルを支援するフレームワークに注目が集まっています。
パブリッククラウドでは上述のフレームワークを公開しており、フレームワーク利用者は機械学習モデルを迅速に作成し自身のシステムに組み込んで公開することができます。
機械学習モデルをシステムに組み込み、サービスとして公開する一連の技術はサービング技術と呼ばれており、
システム構築と運用を担うSEにとって重要な技術です。
本連載ではAI案件に対応するSEを対象として、Amazon SageMakerとAzure MLを例に、パブリッククラウドが提供するフレームワークとサービング技術を概観し、2つのクラウドベンダにどのような違いや特徴があるかを説明します。
なお、本連載に記載のAmazon SageMakerまたはAzure MLの情報は2020年9月末日現在のものであり、今後のアップデート等によって内容が変わることがあります。### 投稿一覧
rails new〜デプロイまでの学習レポート
##はじめに
本記事は、ぼくが2020年7月〜10月までに学習した、Ruby及びRailsの内容を振り返るものです。
今年の2月くらいの段階では**HTMLもまるで書けないくらい無知**だったのですが、
等の学習サイトや各種記事を参考にさせていただいて、なんとかデプロイまで漕ぎ着けることができました。なお現在の状況としては、
– **就職活動中(HTMLコーダー職志望)**
– **学習を継続し、社内でのエンジニア登用を希望している**
– **フロントエンドとインフラに関心が強い**
– **Railsアプリの他に、Web制作に向けたWordPressの学習も行った**
– **フロント・バックともにそれらサイトで学習の継続を予定**というところです。
##制作したアプリケーション
動いている実際のアプリは[こちら](https://filma.space/)。
使用言語は**Ruby**、フレームワークは**Ruby on Rails**です。AWS EC2サーバーにて、
– アプリケーションサーバ ▶︎ **Puma**
– Webサーバ ▶︎ **Ngi
[OCI]goofysを利用してAWS S3からオブジェクト・ストレージに直接ファイルをコピーしてデータ移行してみた
#はじめに
オブジェクト・ストレージをファイルシステムとしてマウントできる[goofys](https://github.com/kahing/goofys)を利用して、AWSのS3バケットからOCIオブジェクト・ストレージに直接データを移行してみました。この方法であれば、S3バケット内のファイルを一度どこかにダウンロードしてからアップロードする必要がないため、中間ストレージが不要になります。
安定した環境が必要な場合は、S3側に[AWS Storage Gateway](https://docs.aws.amazon.com/ja_jp/storagegateway/latest/userguide/WhatIsStorageGateway.html)、OCIオブジェクト・ストレージ側に[Oracle Cloud Infrastructure Storage Gateway](https://docs.cloud.oracle.com/ja-jp/iaas/Content/StorageGateway/Concepts/storagegatewayoverview.htm)を使
【初心者向け】Rails6で作られたWebアプリをCircleCIを使いAWS ECR・ECSへ自動デプロイする方法②-1 インフラ構築編【コンテナデプロイ】
記事の続きをご覧いただきありがとうございます。
[前回の下準備編](https://qiita.com/Kiyo_Karl2/items/5f77d6f59bcddf05c614)の続きになります。今回はインフラ構築編②-1です。| タイトル|
|:———–|
| [① 下準備編](https://qiita.com/Kiyo_Karl2/items/5f77d6f59bcddf05c614) |
| [②-1 インフラ構築編](https://qiita.com/Kiyo_Karl2/items/ddf03ac97ab649b63c1d) **←今ここ!** |
| ②-2 インフラ構築編(執筆中) |
| 自動デプロイ編(執筆中) |
少し長いので覚悟してください!笑それでは、早速やってきましょう!
# インフラ構築編②-1
最初に流れを説明します。ここでやることは主に2つだけですが、色々と設定する項目があります。地道にやっていきましょう。– クラスターの作成
– RDSの設置このような構成に
SAAに合格したのでどんな感じだったか書いてみる
未経験からエンジニアになって2年目になるのですが、そろそろ何かしらの資格に挑戦してみようかなあと思い、SAAを受験してみました。
勉強期間、試験内容など、どんな感じだったかまとめていきたいと思います〜
SAAの試験の概要は[こちら](https://aws.amazon.com/jp/certification/certified-solutions-architect-associate/)
## 勉強時間、勉強方法
勉強期間はトータルして大体5週間ちょっとぐらいです。9月下旬に勉強を始めて、11月16日に試験を受けたので、期間としては2ヶ月程ありますが、サボったり、仕事が忙しかったり、ドラマにはまってしまったりwと勉強してない期間も結構あったので、そこは省いた期間となります。
教材は、Udemyで、
– AWS認定ソリューションアーキテクト – アソシエイト試験突破講座
– AWS認定ソリューションアーキテクト アソシエイト模擬試験問題集この2つを購入しました。
勉強方法としてはいたってシンプルで、
1. 教材の動画をみて内容を理解
2. 問題を解く。
3
zoom会議での話のウケ度を数値化してみた
#はじめに
最近zoomでの会議や授業などが増えてきていますが、やはり対面じゃないとどのくらい話に関心を持ってくれているのかわからない…ということがあると感じ、数値化してみればいいんじゃないか?と思い立ち作ってみました。初投稿なので拙い部分もありますが最後まで読んでいただければ幸いです:sweat:
#目的
zoom会議の画像または動画を取得し、写っている顔を認識、話への関心度を測定する。
#実装
##試しに
今回zoom会議に出席している人物の顔認識をするのにAmazon Rekognitionを使うことにしました。使い方はこちらの記事を参考させていただきました。
https://qiita.com/G-awa/items/477f2324552cb908ecd0“`python:detect_face.py
import cv2
import numpy as np
import boto3# スケールや色などの設定
scale_factor = .15
green = (0,255,0)
red = (0,0,255)
frame_thickness =
AWS BeanstalkでLaravelをデプロイするときにCloudwatch Logsにログを転送する
# 前提のBeanstalk環境
PHP 7.4 running on 64bit Amazon Linux 2/3.1.3
# やること
– lavavel.logのパーミッション設定
– EC2にCloudwatch Logsのロググループ作成のためのサービスロールを追加
– 設定ファイル(.ebextensions)の作成# 1. lavavel.logのパーミッション設定
“`sh
$ chmod 0664 /var/www/html/storage/logs/laravel.log
“`# 2. lavavel.logのパーミッション設定
– Beanstalk環境のIAM インスタンスプロフィールに設定されているIAMロールに、CloudWatchLogsFullAccessのポリシーを追加
(Codepipelineでデプロイしている場合は、そのロールにも同様にCloudWatchLogsFullAccessのポリシーを追加)# 3. 設定ファイル(.ebextensions)の作成
– PHP Platformでデフォルトで追加されるログの設
TypeScript な サーバーレス Nuxt を API Gateway で動かす
# TypeScript + Nuxt + API Gateway + AWS SAM
いちばん最後に構成図があります。(でかいので最後)
近頃では SSR よりも SSG という風潮ですが、公開速度が求められるケースでは SSG だと実現できないこともあるわけで。いまさらながら Nuxt.js を AWS Lambda + API Gateway で実行するまでのやり方を記録として残しておきます。
あと、この構成のメリットは、めちゃくちゃ安いことです。全体のコストとしては CloudFront の料金が支配的で、アクセス量によっては月額 1,000 円以内に収まります。
ぶっちゃけ、よほど Nuxt, TypeScript, AWS に自信がないかぎりやらない方がいいです。モジュール 1 つ追加するだけでも相当な Try & Error だし、切り分けがしんどいし、インフラコストに 1,000 円もかけられないんだ!という人以外には本当にオススメしません。自分は全部かなり自信がある人ですが、それでもめちゃくちゃしんどかったです。
序盤はおもにパッケージサイズとの戦いの記録で
ELBのポートを考える
# はじめに
ELBでやたらにポート番号が聞かれて少し混乱してしまったので、備忘録的にまとめておきます。
また、今回は[こちらの記事](https://dev.classmethod.jp/articles/aws-alb-port/)を参考にまとめさせてもらいました。
間違えて解釈していることが十分にあるので、随時ご指摘いただけたら非常に嬉しいです!# 対象読者
* **AWS**アカウントを持っている方。
* **ELB**の使い方があやふやな人。# ELB
前回書いた記事に構築の仕方は書いているので、今回は、それぞれがどの様な設定を行っているかをまとめられたらと思っています。## ELBの仕事
**ELB**の主な仕事は、以下のチャートで表すことができます。
今回は簡単のため、行先のインスタンスは**EC2**を1つだけとして考えます。
![201111 ELBの構成図-Page-2.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/412378/ecd8a5a0-b5ea-1744-e4
Manajro Linuxにaws-session-manager-pluginをインストールする方法
“`
yay aws-session-manager-plugin
“`
[AWS CloudFormation] S3イベント通知先にLambdaを設定(循環依存回避)
# 循環依存の発生
以下のようにS3バケットに通知設定を行い、
オブジェクトが生成されたことをトリガにLambdaを実行しようとした場合、
互いのリソースを参照しており循環依存でデプロイエラーとなる“`yaml
# S3バケット
testBucket:
Type: AWS::S3::Bucket
Properties:
BucketName: !Sub ${RootStackName}-test-bucket
NotificationConfiguration: # 通知設定
LambdaConfigurations:
– Event: ‘s3:ObjectCreated:*’
# ** Lambda関数ARN参照 **
Function: !Sub ‘arn:aws:lambda:${AWS::Region}:${AWS::AccountId}:function:${RootStackName}-OnDetectFunction’#
AWSの各サービスをかわいらしく紹介するCM動画があったので、再生リストにまとめました。
AWSのサービスを調べている中で、
公式から配信されている、とってもかわいらしいCM動画を見つけました。例: EC2
小難しいイメージがある各サービスを、端的にわかりやすく解説してくれている動画なのですが、
特定のチャンネルにまとめられておらず、網羅的に観るのが難しかったので、再生リストにまとめてみました。[AWS CM動画 – YouTube](https://www.youtube.com/pla
IT未経験でAWS Solution Architect Associateに合格できた話
Quiitaは初投稿となります。
よろしくお願いいたします。筆者は現在、IT会社に勤めて2年目になります。
去年の2月にAWS SAAに合格したので、
記録もかねて勉強法や当時の技術レベルなどを交えて、記載していきたいと思います。感覚ベースの話が多いと思いますので、概要をざっくり知りたいなどの、
これから受けようと思っている方や、
最近勉強し始めたけど、何となく不安だなと感じている方にはおススメかもしれません。まずは勉強を開始するときの技術レベルです。
*▼技術レベル*
・AWSの知識
Amazonが関わっているクラウドのサービス?
案件でVPC・EC2・RDSという名称は見るけど、よくわかってない。・インフラの知識
Web三層構成は研修でやったなぁ。
難しくて一人じゃできない。・勉強方法の知識
一夜漬け is 最強 と思っている。当時は、大げさでもなく本当にこのような状態でした。
計画を立てるのはできても、その通りに実行できた試しがなく、自信なんて微塵もありませんでした。*▼勉強した期間*
・半年実務で4ヶ月くらい何んとなくAWSサービス
Amazon RDS for PostgreSQLの監査ログをCloudWatch Logsに出力する
# はじめに
Amazon RDS for PostgreSQLの監査ログをCloudWatch Logsに出力します。
パラメータグループに設定を変更後、DBにログインしてSQLコマンドを実行します。**パラメータグループの変更項目**
|**項目**|**値**|
|—|—|
|pgaudit.role|rds_pgaudit|
|shared_preload_libraries|pgaudit|
|pgaudit.log_level|log|
|pgaudit.log|’all, -misc’|**SQL**
“`sql:SQL
SHOW shared_preload_libraries;
SHOW pgaudit.role;
CREATE EXTENSION pgaudit;
“`# 手順
**1. RDSのパラメータグループを作成するCloudFormationのテンプレートの一部**“`yaml:テンプレート.yml
Type: AWS::RDS::DBParameterGroup
Properties:
Par
AWSを勉強する – VPC
#Virtual Private Cloud(VPC)
AWSクラウド内に論理的に分離されたセクションを作り、ユーザーが定義した仮想ネットワークを構築するサービス
– 任意のIPアドレス範囲の選択して仮想ネットワークを構築
– サブネットの作成、ルートテーブルやネットワークゲートウェイの設定など仮想ネットワーキング環境を完全に制御可能
– 必要に応じてクラウド内外のネットワーク同士を接続することも可能
– 複数の接続オプションが利用可能
– インターネット経由
– VPN/専用線単一のVPCを構築すると単一のAZの範囲に設定される。
同一リージョン内では、VPCは複数のAZにリソースを含めることができる。
VPCとサブネットの組み合わせでネットワーク空間を構築する。VPCはサブネットとのセットが必須。1. CIDR方式でアドレスレンジを選択
2. AZのサブネットを選択
3. インターネット経路を選択
4. VPCへのトラフィック許可の設定#CIDR
VPC内ではサブネット数は200までが最大とされている
既に利用されていて設定できないアドレス
|
AWS Lambda を使ってFizzBuzzしたった
# Backgroud
AWS Lambdaを使ったサーバレスアプリケーションについての話を聞く機会が増えたので試しに作ってみた。# Preparetion
↓
↓
# Development (l
AWS運用日記 初心者が『AWS』触ってみた
AWSを登録して初期設定をするところまで。
以下の3つを設定し終えたら記事書きますmm
❶CloudWatchで料金アラートを設定:使いすぎを防止
❷IAMで作業ユーザーを作成:セキュリティ対策
❸CloudTrailで操作ログを記録:ユーザーの行動ログを収集では、また後程。この記事に追加していきます(*´ω`*
【AWS】Rails6で作られたWebアプリをCircleCIを使いECR・ECSへ自動デプロイする方法①下準備編【コンテナデプロイ】
今回個人開発で制作したRailsアプリをCircleCIを使いコンテナデプロイさせることに成功したので、備忘録としてこちらに記載させていただきます。(またReadmeなど整い次第、実際のアプリも別記事で紹介させていただきます。)
こちらですが、長くなってしまったので記事を分けて書いていってます。
| タイトル|
|:———–|
| [① 下準備編](https://qiita.com/Kiyo_Karl2/items/5f77d6f59bcddf05c614) **←今ここ!** |
| [②-1 インフラ構築編](https://qiita.com/Kiyo_Karl2/items/ddf03ac97ab649b63c1d) |
| ②-2 インフラ構築編(執筆中) |
| 自動デプロイ編(執筆中) |また、現在私はwindows10を利用しており、macの方は適時置き換えて進めていってください。
といってもaws-ecs-cliのインストール方法が異なるぐらいで他は同じだと思います。(windows