AWS関連のことを調べてみた2021年01月23日

AWS関連のことを調べてみた2021年01月23日
目次

AWS EBで「Unhandled exception during build: invalid literal for int() with base 8: ‘493’」エラーの対処

## 概要
AWSのElastic Beanstalkで.ebextensionsを利用時にデプロイでエラー発生
(ちなみにPHPでLaravel)

“`/var/log/cfn-init.log
2021-01-23 02:10:56,395 [ERROR] ———————–BUILD FAILED!————————
2021-01-23 02:10:56,395 [ERROR] Unhandled exception during build: invalid literal for int() with base 8: ‘493’
Traceback (most recent call last):
File “/opt/aws/bin/cfn-init”, line 171, in
worklog.build(metadata, configSets)
File “/usr/lib/python2.7/site-packages/cfnbootstrap/construction

元記事を表示

re:Invent 2020 ストレージ関連の新サービス、アップデートまとめ

re:Invent2020で発表されたEBS、EFS、S3等のストレージ関連サービスのアップデートをまとめてみました。

[re:Invent スペシャル企画 まだまだやるよ!宇宙一 回数の多い re:Cap week8](https://jawsug-yokohama.connpass.com/event/201083/)
でこのあたりをキャッチアップしますので是非ご参加ください!

# EBS
## gp3 volumes for EBS
– 3,000 IOPS、125MB/sのベースライン・パフォーマンス
– 最大16000IOPS

JAWS-UG横浜のre:Cap week1で発表した資料に詳しいことは残しています。

https://aws.amazon.com/jp/blogs/news/new-amazon-ebs-gp3-volume-lets-you-provision-performance-separate-from-ca

元記事を表示

AWSでproduction.logが肥大化した時の対処方法 & ログローテート方法

AWS初学者です。

Railsで個人的にアプリを作っておりまして、AWSにデプロイしています。
昨日も新しい機能を追加したため、変更内容をAWSにデプロイしようとしたところエラーが発生しました。

EC2にSSH接続し、「df -h」で容量を確認したところ、 
「/dev/xvda1」の使用率が100%に…

「どこの容量が多いのか」をさらに深掘りして調べてみたところ、

「/var/www/アプリのディレクトリ名/shared/log/production.log」

というログファイルがかなり多いことがわかりました。その容量はなんと3G!?
今まで放っておいた自分を反省しました?

そして、何とかproduction.logを軽量化し、正常にデプロイさせることができたので、その方法をアウトプットしていきたいと思います。

(ちなみに、「どこの容量が多いか」を調べる方法については、こちらの記事で説明しています:容量がいっぱいでAWSにデプロイできなかった時の対

元記事を表示

CloudFormationで起動テンプレートとEC2の構築

## はじめに
CloudFormationで起動テンプレートを構築する資料があまりなかったので、
解説をつけてまとめました。

## 対象者
– AWSの管理コンソールから起動テンプレートを構築された経験がある方
– CloudFormationの知見がある方

## 構築されるもの
– VPC
– InternetGateway
– Subnet
– RouteTable
– EC2
– SecurityGroup
– 起動テンプレート

## 構成図
![aws のコピー (1).png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/502753/bd022838-9904-d7e8-4e21-6140dc457066.png)

## セクション説明
| セクション| 意味 |備考 |
| —- | —- | —- |
| AWSTemplateFormatVersion | テンプレートバージョン | 2010-09-09 であり、現時点で唯一の有効な値 |
| Desc

元記事を表示

AWS ALB の LCU の料金計算方法の備忘録

AWS ALB の LCU の料金計算方法のメモ

https://aws.amazon.com/jp/elasticloadbalancing/pricing/ から LCU の計算方法が個人的にわかりにくかった(僕の頭が悪いだけなのですが…)ので整理したメモ。

ただし、例 1 しか整理してない。

金額は アジア・パシフィック/東京 リージョンをベースにした。

## 例1の条件

– (a) アプリケーションが 1 秒あたり平均 1 個の新しい接続を受信
– (b) それぞれ 2 分間継続する
– (c) クライアントは毎秒平均 5 つのリクエストを送信
– (d) リクエストと応答の合計処理バイト数は毎秒 300 KB
– (e) クライアントのリクエストをルーティングする 60 個のルールを設定

### 新しい接続(1秒あたり)

LCU は 1 秒あたり 25 個の新しい接続を提供する ← 既定値

アプリケーションは 1 秒あたり1この新しい接続を受信する ← (a)

つまり

1 / 25 = 0.04 LCU

と評価する

### アクティブ接続(1分あたり)

元記事を表示

【受験記】AWS 認定 機械学習 – 専門知識

# はじめに

この記事は、先日合格した**AWS 認定 機械学習 – 専門知識**の受験記録になります。

準備のためのメイン教材に**英語教材**を使用したという点で、内容的にはレアケースになるかと思います。それでも、この記事がどなたかの参考になれば幸いです。

# 公式情報
– 試験ついてはこちらの[**公式サイト**](https://aws.amazon.com/jp/certification/certified-machine-learning-specialty/)でご確認ください。

# 一般的な準備方法
– [**こちらの記事(AWSの機械学習エンジニア認定試験を受けてきた)**](https://qiita.com/si1242/items/c7b5d2f3916bf6b159de)に上手くまとめられていると思います。*試験を受けた感想としても、こちらの内容はいまだ有効だと感じました。

– ただ、私は機械学習はもとよりAWS自体実務経験がないことから、上記の記事で紹介されているような(公式ドキュメントやブログを読む)学習方では、試験範囲に対する体系的で効率的な知

元記事を表示

営業マンがEC2に挑戦したら/etc/fstabに返り討ちにされた話

所属する会社がAWSに力を入れているため、実際に触ってみようということで、

– Amazon LinuxにApacheをインストールして、PCからhttp接続
– EBSを新たにアタッチ、マウントして使用する
– バックアップを保存し、EC2インスタンスをまるごと削除し、復元する。

という課題にチャレンジしました。

ハンズオン形式でしたので、「まずは最後までサクッと経験しよう」の期待とは裏腹に、トラブりましたので顛末を書いてみようと思います。
数カ月後に読み返した際に、かわいいなぁと思えるように。

# 想定していたプロセス

EC2インスタンスをたてる
・AMIはAmazon Linux 2
・ユーザデータにApacheのインストール、起動、再起動後も有効とするシェルスクリプトを記載
・セキュリティグループにHTTPを設定
ターミナルでEC2の起動確認をする
・ssh接続でEC2インスタンスに接続
・Apacheが正常に起動しているか確認(systemct

元記事を表示

AWS EKS 盛り盛り構成インストールガイド  ~完結編~

# EKS構築手順 完結編

## 前提
**前編のつづきとなっていますので、そちらを閲覧されてからどうぞ**
https://qiita.com/lapolapo/items/99bda7f4c8cf1b517448

## やりたいこと
1. 既存PrivateVPCでEKSを使いたい
1. ALBも使いたい
1. EFSも使うんだ
1. **Apache + PHP7.4** のいわゆるWEBサーバを作る(CacheやDBはElasticacheやらRDSを使う)
1. HTTPSも使いたい
1. AutoScalingを考えるとコンテンツはNASに置いておきたい

## 作業の流れ
1. **[前回]** Cluster作成
1. **[前回]** aws-load-balancer-controllerのインストール
1. **[前回]** EFSドライバーのインストール
1. **[今回]** 各種設定ファイルの作成
1. **[今回]** サービスの起動
1. **[今回]** DNS登録と動作確認

## 各

元記事を表示

AWS EKS 盛り盛り構成インストールガイド (Apache2 + PHP7.4 + EFS + ALB + HTTPS)

# EKS構築手順

## 前提
**ちょっとだけ中級者向け(AWSで一般的な環境が構築できる方以上向けの記事)です**

## やりたいこと
1. 既存PrivateVPCでEKSを使いたい
1. ALBも使いたい
1. EFSも使うんだ
1. **Apache + PHP7.4** のいわゆるWEBサーバを作る(CacheやDBはElasticacheやらRDSを使う)
1. HTTPSも使いたい
1. AutoScalingを考えるとコンテンツはNASに置いておきたい

## 作業の流れ
1. **[事前]** AWSでPrivateVPCをつくる
→ 172.16.0.0/16 → 既存のIPを使っているだけなので、読み替えてください

1. **[事前]** Public-subnetとPrivate-subnetをつくる
→ Public-subnet(ap-northeast-1a:172.16.1.0/24, ap-northeast-1c:172.16.51.0/24) グローバルIP付与可能+Internet

元記事を表示

【初心者メモ】冗長化して稼働率を高くするとは

AWSインフラ構築学習で、稼働率向上のための具体的な冗長化に初めて取り組んだので、そこで学んだ用語等をメモしておきます。修正点やアドバイス等ございましたら教えていただければ幸いです。

参考講座:AWS:ゼロから実践するAmazon Web Services。手を動かしながらインフラの基礎を習得https://www.udemy.com/course/aws-and-infra/

#そもそも稼働率とは
トラブルなく無事に使えている期間を示すもの。
インフラ設計観点の大切な項目である可用性(サービスを継続的に利用できるか)を表す指標のひとつ。
稼働率の計算には、平均故障間隔(MTBF)や平均修理時間(MTTR)が用いられる。

####○平均故障間隔(Mean Time Between Failure)
故障と故障の間隔を表すもの。

####○平均修理間隔(Mean Time To Repair)
修理に必要な時間を表すもの。
![7F00FE8E-DA47-4BCE-9412-5C4B49BA50EA_1_105_c.jpeg](https://qiita-image-stor

元記事を表示

AWSでEFSをマウントしたときにFilesystemが127.0.0.1になる理由

AWS(Qiitaも)ド素人が勉強していて気になったので調べた結果を共有します。

## EFSマウントヘルパーを使用してマウントした場合

“`console
[root@ip-hogehoge ~]# df -hP
Filesystem Size Used Avail Use% Mounted on
devtmpfs 482M 0 482M 0% /dev
tmpfs 492M 0 492M 0% /dev/shm
tmpfs 492M 524K 492M 1% /run
tmpfs 492M 0 492M 0% /sys/fs/cgroup
/dev/xvda1 8.0G 1.7G 6.4G 21% /
tmpfs 99M 0 99M 0% /run/user/1000
127.0.0.1:/ 8.0E 0 8.0E 0% /home/ec2-user/efs  ←12

元記事を表示

ACMのSSL証明書に切り替えてみた

## やりたいこと
やりたいことは、AWSベースで作成したウェブサイトのSSL証明書をまとめて管理したいため、ACM([AWS Certificate Manager](https://aws.amazon.com/jp/certificate-manager/))で取得したSSL証明書を利用すること。

ACMのSSL証明書をそのままでウェブサイトにインストールができないため、ALB([Application Load Balancer](https://docs.aws.amazon.com/ja_jp/elasticloadbalancing/latest/application/introduction.html))も導入する。

## 構成イメージ
![Untitled Diagram.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/176796/10054b23-a838-ab54-f8f8-550dee775498.png)

Route53はhttpsのリクエスト受け取って、ALBに送

元記事を表示

色々なAWSの画像認識サービス(最初は静止画の分析から)

AWS画像認識サービスを調べたり触る機会がありましたので、ちょっとした解説です。

前提として、以下があるので、ご注意ください。

* 動作確認は、主にlinux(ubuntu)を使い、awsのcliやpythonライブラリ(boto3)を活用しました。
* 2020年1月頃に調べたり動作確認した内容が含まれています。

#目次
[1.はじめに](#1-はじめに)
[2.AWS画像認識サービス](#2-AWS画像認識サービス)
[2.1.RekognitionとRekognition Videoを触ってみた](#2.1-RekognitionとRekognition-Videoを触ってみた)
[2.2.好みの画像分析が作成できるRekognitionカスタムラベルとSageMaker](#2.2-好みの画像分析が作成できるRekognitionカスタムラベルとSageMaker)
[3.おわりに](#3-おわりに)
[a.参考リンク](#a-参考リンク)

#1. はじめに

人の行動を分析することをやりたくて、有名で身近にあるAWSの画像認識サービスを調べていきました。

元記事を表示

パッケージ mysql-server は利用できません。 というエラーについて

こんにちは! 
独学でRailsアプリを作成し、AWS EC2上に手動でデプロイしたとき想像以上に大変だったので、出会った主なエラーとその解決方法を複数の記事に分けて記します。同じ様にエラーで悩んでいる方にとって参考になれば幸いです。

##環境
ローカル環境
・Ruby 2.7.2
・Ruby on Rails 6.0.3
・MySQL 8.0.2
EC2上の環境
・OS:Amazon Linux 2

今回はこの記事を参考にデプロイしました。
https://hackmd.io/4_1NYUTBSaSsOC8cur7WhA?view

##事象
EC2インスタンスにSSH通信でログインし以下のコマンドでパッケージをインストールしました。

“`
$ sudo yum -y install git make gcc-c++ patch openssl-devel libyaml-devel libffi-devel libicu-devel libxml2 libxslt libxml2-devel libxslt-devel zlib-devel readline-devel

元記事を表示

AWS初心者が3回目でやっとソリューションアーキテクト-アソシエイトに合格【5ヵ月】

#スペック#
・基本的なIT用語はわかる
・ネットワークわからん(TCP/IPってなに?)
・EC2インスタンスの作り方だけ知ってる
・クラウドってなんかすごいらしいね
・資格はIパスのみ

#使用した教材・使い方#
###動画###
概要をつかむのに利用しました。全てUdemyです。参考書と並行して一番最初にやるべき。
下2つのうちのどちらかをやれば良いと思います。上2つはなくても良かったかな。
あまりのんびりやらず、早いとこ問題集を解く段階まで行くのをおすすめします。

[Amazon Web Services マスターコース VPC編](https://www.udemy.com/course/amazon-web-service-vpc/)
[Amazon Web Services マスターコース EC2編](https://www.udemy.com/course/amazon-web-service-ec2/)
→AWSに欠かせないサービスであるVPC、EC2についてそれぞれ詳しく解説されています。こちらは下2つのコースでも解説されているので受ける必要はなかったかなと思いま

元記事を表示

draw.io(diagrams)は無料で汎用的に使える作画ツール

よくみるAWSの構成図、クラウドを触るようになってから何で描いているんだろうと気になっていました。
案件に参画してみると、draw.io(現在はdiagrams)というツールで作画していることが判明しました。
使ってみてお気に入りになったツールの一つです。

#draw.io(diagrams)とは
無料で使える、構成図やレイアウト図などが描ける作画ツールです。
[こちら](https://www.diagrams.net/)から利用できます。
AWSを使用する構成図や資料作りに大変重宝しています。
使い方の概要は[ferretの記事](https://ferret-plus.com/8408)が参考になるかと思います。

#AWS公式ドキュメントの図をリメイクしてみた

AWSのDirect Connectの公式ドキュメントにあるこの図のアイコンが古かったので、新しいアイコンで作ってみました。
![direct_connect_overview.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/5526

元記事を表示

AWS EC2 AMIを利用して構築したRedash9.0(beta)でCloudWatch Logs Insightsのデータを取得する

# What’s this?
Redash9.0(beta)でデータソースとしてCloudWatch Logs Insightsが新規追加されたので、Redash9.0の構築からデータ取得までの手順をまとめた記事です。

# Redashとは
Redashは、(主に)SQLの分析結果をわかりやすく可視化し共有するオープンソースBIツールです。
「RDS」「Redshift」「BigQuery」「Google Spreadsheet」など50種類以上の様々なデータソースと連携が可能で、複数のデータソースのデータを結合させることも可能です。

# Redash9.0で追加されたデータソース
– [redash/CHANGELOG.md](https://github.com/getredash/redash/blob/master/CHANGELOG.md)

> New Data Sources: Amazon Cloudwatch, Amazon CloudWatch Logs Insights, Azure Kusto, Exasol.

Redash公式のchange logを見る

元記事を表示

sdk-goでdynamoDBの複雑なstructの値をupdateする

## やりたいこと
GoでのdynamoDBに対しての操作は割とめんどかったりします。単純なStringやIntのものであればまだ良いのですが、ListのMapのなかのListとか、値の構造が複雑になってくると気が滅入ります。

“`go
// シンプルなパターン
&dynamodb.UpdateItemInput{
TableName: aws.String(“sampleTable”),
Key: // 省略,
ExpressionAttributeValues: map[string]*dynamodb.Attribute{
“:ssv”: {
S: aws.String(“sampleStringValue”)
},
“:siv”: {
N: aws.String(strconv.Itoa(0)) // ここもintをstringに型変換してそれをaws.String()してkeyにはNを指定って感じでわかりづらい。
},
},
UpdateExpression: aws.String(“set samp

元記事を表示

AWS 認定 デベロッパー – アソシエイト(DVA-C01)取得するまでにやったこと

![dva-c01.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/534812/25a3cd8f-1d57-582d-c98e-d9c9d88c7479.png)

## はじめに

DX 技術本部の yu-yama です。
[AWS 認定 デベロッパー – アソシエイト](https://aws.amazon.com/jp/certification/certified-developer-associate/)を取得したので取得までの流れを記します。

## 受験前の AWS 経験

AWS 経験は 4, 5 年で、コアサービスは一通り触っており、ソリューションアーキテクトアソシエイトを 2020 年 6 月に取得しています。

[AWS 認定ソリューションアーキテクトアソシエイト\(SAA\-C02\)取得するまでにやったこと](https://qiita.com/yu-yama-sra-airline-erp/items/7d30c3772c3075837939)

## 学習期間

– 7

元記事を表示

CloudWatchAlarmの動作確認をしてみる

# 目的
わが社ではCloudWatchAlarmを設定し、アラート内容をタスクとしてチケット化するシステムを作っているのですが、「アラート内容をタスクとしてチケット化」の部分を確認したいので、CLIで無理やりアラートを発報させる方法を調査しました。備忘録です。

# 手順
CloudWatchの権限を持ったユーザでCloudShellからCLIをたたくだけ。

“`shell-session
cat << EOF > ALARM.json
{
“AlarmName”: “【Alarm名】”,
“StateValue”: “ALARM”,
“StateReason”: “Test Alarm”
}
EOF
aws cloudwatch set-alarm-state –cli-input-json file://./ALARM.json
rm -f ./ALARM.json
“`

今回はファイルインプットを採用。
ファイルインプットのほうが、設定内容の可視性を上げやすいのでよさげですね。

以上。

元記事を表示

OTHERカテゴリの最新記事