AWS関連のことを調べてみた2021年09月29日

Amazon FSx for NetApp ONTAP を Terraformでデプロイしてみる

# Amazon FSx for NetApp ONTAP を Terraformで試してみる
NetAppが提供するOntapの技術を採用したフルマネージドな ストレージサービスが発表されました。
NetAppのONTAPという高機能なストレージOSを採用し、NFS/CIFS/iSCSIプロトコルに対応しデータ重複排除・圧縮などの効率化機能やデータ転送機能なども利用可能なサービスです。Amazon FSx for NetApp ONTAPの紹介は[こちらのブログ](https://www.storage-channel.jp/blog/amazon-fsx-for-netapp-ontap.html)が参考になるかと思いますので興味がありましたらどうぞ。

Amazon FSx for NetApp ONTAPは、AWSコンソールから簡単に利用開始が可能ですが、NetAppのCloudManagerからデプロイしたり、Terraformからデプロイして 利用開始することも可能です。

実際に試してみたので、Terraformを利用してデプロイする手順をご紹介します。

# Terr

【AWS認定試験】SCS-C01取得しました

# はじめに
先日、SCS-C01に合格しました。


合格するまでやったことを記載します。

## これまでのAWS認定受験歴
|年月|試験|点数(合格点)|合否|
|—|—|—|—|
|2020/08|[AWS認定クラウドプラクティショナー(CLF)][link-2]|809/1000(700)|〇|
|2020/11|[AWS認定ソリューションアーキテクトアソシエイト(SAA)][link-3]|753/1000(720)|〇|
|2021/01|[AWS認定デベロッパーアソシエイト(DVA)][link-4]|862/1000(720)|〇|
|2021/02|[AWS認定SysOpsアドミニストレータアソシエイト(SOA)(C01)][link-5]|731/1000(720)|〇|
|2021/04|[AWS認定ソリ

AWS Transcribeでリージョン違いでエラー

#AWS Transcribe使おうとしたらエラー出た…

表題の通りの出オチなんですが、
https://dotnet-developer-dojo.workshop.aws/lab7-ai-ml/transcribe.html

上記のURLを参考にしながら、
音声ファイルをS3にアップして、アップしたファイルをTranscribeでテキスト化するというのをやってたんですが
実行すると以下のエラーが出て困っておりました。

####エラー内容

> 要求した名前は有効ですが、要求された種類のデータは見つかりませんでした。

このエラーだけ見るとなんかファイルの形式が違うとか、アクセス権が無いとかと思ってしまい
その点で色々調べていたんですが解決せず:sweat:

“`transcribe.cs
using (var transcribeClient = new AmazonTranscribeServiceClient(
“IDだよ”,
“アクセスキーだよ”,
Amazon.RegionEndpoint.APNortheast3))
{
var

Amazon Linux2におけるsystemdのバージョンは古め

Amazon Linux2がサポートしているsystemdのバージョンはかなり古いよという話。

## Amazon Linux2におけるsystemdバージョン
Azmazon Linux2 の systemd で `RuntimeMaxSec` オプションを利用しようとしたら
サポートされていないよとエラーになったことで気付いた。

[Amazon Linux2のリリースノート](https://aws.amazon.com/jp/amazon-linux-2/release-notes/)を確認したところ
Amazon Linux 2.0.20210617.0 更新のバージョンで systemd-219だった。
これは[systemdのChangeLogs](https://github.com/systemd/systemd/blob/main/NEWS)を見る限りでは 2015-02-16 リリースのバージョンなのでかなり古い。

“`
$ rpm -q systmed
systemd-219-78.amzn2.0.14.x86_64
“`

## その他のOSにおけるs

AWSでのLaravelプロジェクト作成時のエラー

composer コマンドでLaravelのプロジェクト作成時に何かしらの理由で、正常に作成されていなくてエラーが出てしまった時。

“`$ cd ~/environment
$ rm -rf (プロジェクト名)
$ sudo yum -y install php73 php73-mbstring php73-pdo php73-mysqlnd
$ sudo alternatives –set php /usr/bin/php-7.3
$ curl -sS https://getcomposer.org/installer | php
$ sudo mv composer.phar /usr/bin/composer
“`

上記コマンドで1回プロジェクトを消す。
再度プロジェクト作成する。

AWSでAIサービスを使ってみる〜第14回personalize編その④〜

##前回まで
前回はレコメンデーションを取得するまでのソリューションの構築とキャンペーンを作成しました。

[AWSでAIサービスを使ってみる〜第13回personalize編その③〜](https://qiita.com/AInosukey/items/39f65363a49a656e3e9f)

今回はpersonalize最終回!レコメンデーションを取得していきます。

##レコメンデーションの取得
それではこれまでにPersonalizeに登録してきた諸々のデータや仕組みを用いてレコメンデーション(商品のオススメ)を取得していきます。

レコメンデーション取得のプログラムの全体です。

“`pers_recommend.py
import boto3
import sys

#コマンドライン引数
if len(sys.argv) != 2:
print(‘python’, sys.argv[0], ‘user-id’)
exit()

personalize = boto3.client(‘personalize’)

#personalizeruntimeサービスク

EC2インスタンス同士の通信を簡単に許可する方法

複数のEC2インスタンスを使ってクラスタを組む場合など、EC2インスタンス同士で通信を許可したい時があると思います。
セキュリティグループと呼ばれる仮想ファイアウォールの設定が必要ですが、送信元にセキュリティグループを設定すると簡単に設定ができます。

# 1. セキュリティグループを作成する

まずはセキュリティグループを作成します。サービス検索窓に「セキュリティグループ」と入力し、「セキュリティグループ」をクリックします。


次に「セキュリティグループを作成」をクリックします。


必要な項目を入力していきま

Datadog プライベートロケーションで内部アプリケーションを監視する

Datadog Synthetic の Private Location で監視を行う方法について記します。

# 対象読者
– Datadog Syntheticの概要を理解している。
– Dockerの概要を理解している。
– （構築手順のみ）Amazon ECS on Fargateの構築が出来る。

# プライベートロケーションとは？
>内部用アプリケーションの監視や、パブリックインターネットから接続できないプライベート URL の監視が行えます。

例えば、インターネットへ公開されているサービスであれば、Datadogが用意しているマネージドロケーションからSyntheticで特に問題無く監視できます。

ただ、IP制限のかけられているサービスや……

![IP制限のかかって

AWS Lambdaでのロギングのベストプラクティス

本日は、日常業務で非常に役立つと思われるいくつかの方法について説明します。 AWS Lambdaにおけるロギングのベストプラクティスをいくつか紹介し、なぜ、どのようにAWS Lambdaのロギングが簡素化されるのかを説明します。同様のトピックの詳細については、[本ブログの他のエントリーを参照してください](https://dashbird.io/blog/)。

それでは、基本から始めましょう（基本を理解している場合はスキップしてください）：AWS Lambdaでロギングはどのように機能するのでしょうか？ 

AWS Lambdaにおけるロギングとは
——————–

AWS Lambdaサービスは、Lambda関数を自動的に監視し、Amazon CloudWatchに指標（メトリクス）を報告します。関数の不具合を解決するために、Lambdaログには関数のリクエストも記録されます。

また、Amazon CloudWatch Logsを介してコードによって生成されたログも保存されます。お察しの通り、コードにロギングステートメントを挿入することで、コードが正し

AWS初学者がちょっとした分析基盤作ってみたのでメモ

# はじめに
AWSをほとんど使ったことがなかった私がAWS上でちょっとしたものを作る際に、
`考えていたこと`や`調べたサイト`などをメモ書きとして残します。⚠︎自分用のため読みづらかったらすみません。。

# 作りたいもの
定期的に特定のアプリのAppStoreレビューをスクレイピング => 整形 => データ格納 => 集計 => 可視化をAWS上でできるように構築したい

# 作る前注意点
`AWS 高額請求`や`GCP 高額請求`で検索するとやらかした話が思った以上に出てくる。。

– [10日間 で AWS Lambda 関数を 28億回 実行した話](https://blog.mmmcorp.co.jp/blog/2019/12/25/lambda-cloud-bankruptcy/)
– [BigQueryで150万円溶かした人の顔](https://qiita.com/itkr/items/745d54c781badc148bb9)
– [AWS 高額請求 |クラウド利用の注意点！高額請求事例と対策方法](https://www.3sss.co.jp/tis/medi

AWS MediaServices配信映像をA-Frame上に再生してみた

デジタルオフィスというお題で、それぞれのリモートワークを仮想的なオフィス空間に表示することに取り組んでいます。

ざっとですが以下のようなイメージです。
今後、複数のリモート会議のブースが並ぶ大規模会場が出てくるかと思います。そういった複数のリモート会議も外から覗いたような俯瞰的に見られれば、どのブースに入ろうか、というのがわかりやすいかな、という感じです。（多めの参加者をブレークアウトルームに分けるオンライン飲み会とかにも活用できないかな、と思ってみたりしています。）

この中で、Zoom会議の映像をAWS MediaLiveに配信し、A-Frameの仮想空間上のオブジェクトに表示することを試してみましたので、その内容を紹介させていただきます。
（video要素を[A-Frameオブジェクト(今回はa-planeを使用)のsrc](htt

vacuumを実行しても不要行が削除されない場合の対処法

#背景
PostgreSQLを使用しているのですが、本番環境でパフォーマンス劣化が発生しました。
調査の結果、autovacuumは動いているのですが、不要行の削除が行われず空振りしている状態でした。

#環境
DB:Amazon Aurora for PostgreSQL 10.16

#vacuum・analyzeの状況確認
##SQLで現状の情報を取得する
[こちら](https://qiita.com/kaburankattara/items/79e102d7c1f9b8241e5e#vacuumanalyze%E3%81%AE%E7%8A%B6%E6%B3%81%E7%A2%BA%E8%AA%8D)の記事で利用したSQLで各テーブルのvacuum状況を確認します。

“`sql
SELECT relname, n_live_tup, n_dead_tup, last_vacuum, last_autovacuum, last_analyze, last_autoanalyze
FROM pg_stat_all_tables
WHERE schemaname = ‘hoges

AWSでAIサービスを使ってみる〜第13回personalize編その③〜

##前回まで
前回はデータセットをs3にアップロードするまでのロールの作成とデータセットの取り込むプログラムを確認しました。

以下、前回までの記事です。

[AWSでAIサービスを使ってみる〜第11回Personalize編〜](https://qiita.com/AInosukey/items/1939cbac0ac5085f6463)

[AWSでAIサービスを使ってみる〜第12回personalize編その②〜](https://qiita.com/AInosukey/items/4215a0030b054609afc8)

##ソリューションとキャンペーンについて

今回はデータ作成後に行うソリューションの構築とキャンペーンを作成していきます。

#####ソリューション
・Pesonalize上でレコメンデーション(商品のおすすめ)を作成する仕組みのことをソリューションと呼びます。

#####キャンペーン
・ソリューションを公開するための仕組みのことをキャンペーンと呼んでいます。レコメンデーション(商品のおすすめ)の取得には学習済みのソリューションバージョンからキャンペー

「OCI Cloud Shell」と「AWS CloudShell」の比較

__初めに__

前回の記事には、[OCI Cloud Shellの概要](https://qiita.com/liu-wei/items/d11aea8865accddbfd90)を紹介しました。

2020年末、「AWS CloudShell」というサービスがリリースされ、「OCI Cloud Shell」と類似な機能が提供されています。では、「OCI Cloud Shell」と「AWS CloudShell」の違いを見てみましょう。 (AWSの”CloudShell“にはスペースがありません。)

__OCI Cloud Shell__

__AWS CloudShell__
![image.png](https://qiita-image-store.s3.ap-northeast-1.

エンジニア未経験が企業のモニタリング体制を構築した話?

# **え、何したの？**

運用中のサービスに対するデータのモニタリング体制を構築して欲しいという実務課題を解決しました。

具体的には、、、

– 運用中のWebサービスのデータ分析環境が整っておらず、KPIモニタリングを行えていない。
– SQLでデータを分析する際にも本番DBに接続するしかない。
– 運用中のWebサービスのKPIモニタリング体制の整備
– 開発期間　42日間
– 運用費用は月5,000円以内　などなど

今回の実務経験は、応募者の中からクライアント様が選考を行い、最終的に絞り込んだ人数の中で同じ課題に取り組み、それぞれのソリューションからベストなものを選定していただくという採用方式でした。

# **で、何作ったの？**
最終システム構成図
[](https://gyazo.com/1cd22c14570566d1fffab5e07aaf67fd)

BIツールのトップ画面
![image.png](htt

【Ruby on Rails】本番環境でデータベースをリセットする方法

#対象

* 本番環境でのデータのリセットに悩まされている方

#目的

* 本番環境でデータをリセットして新たにデータをセットする準備をする

#実際の手順と実例
###1.前提

* Ruby on Railsを使ったアプリ開発
* AWSのEC2を使用してサーバー構築

###2.本番環境でのデータベースリセット

まずは開発環境（cloud9から）EC2へSSHでログインし、自分のアプリケーションのディレクトリに移動します。

““
$ ssh -i ~/.ssh/[キー名][ユーザー名]@[パブリックIPアドレス]
$ cd [アプリケーション名]
““
※ [ ] を入力する必要はありません。

下記のコマンドを打てばOKです。

““
RAILS_ENV=production DISABLE_DATABASE_ENVIRONMENT_CHECK=1 bundle exec rails db:drop
““

これだけでは、エラーが発生してしまいますので、忘れずにデータベースの内容を反映させます。

““
rails db:create RAILS_

プログラミングスクール生のここがダメ(インフラ構成を理解していない)

##はじめに
どうも、27歳未経験からエンジニア転職を目指しているもきおです。

これは当時プログラミングスクール卒業したての頃、エンジニア採用面接でのお話

**面接官**「えーそれではこのポートフォリオってOSは何を使ってるんですか？」
**もきお**「えっとーEC2ですかね？」
**面接官**　（。。。ダメだこりゃ）

その後普通にお見送りになりました笑

お見送り理由も当時エージェントさんからいただいたのですが技術知識習得に受け身な姿勢と受け取られてしまったみたいです。

このようにとりわけプログラミングスクール生は自分も然りインフラ構成への理解が甘くなる傾向にあると感じています。

###なぜスクール生はインフラ構成の理解が甘くなるか？
これは明確にカリキュラムが充実しすぎているのがあるかと思います。
項目ごとに画面がスクショされててその手順書通りにポチポチGUI操作で作成していけばできてしまうのでインフラ構成の理解が甘い。

そしてとりあえず作れれば良いやという感覚に陥りがち。それではダメなんです。
理解し人に説明できなければ面接でいざ聞かれた時に全然見当違いな答えを言って

Railsでpublic/packs/manifest.jsonの中身がないというエラーが出てハマった(AWSデプロイ時)

#エラー内容
AWSにRailsアプリを“git clone“でデプロイした時に以下のエラーでどハマりしました。

“`
ActionView::Template::Error (Webpacker can’t find application.js in /var/www/rails/アプリ名/public/packs/manifest.json. Possible causes:
1. You want to set webpacker.yml value of compile to true for your environment
unless you are using the `webpack -w` or the webpack-dev-server.
2. webpack has not yet re-run to reflect updates.
3. You have misconfigured Webpacker’s config/webpacker.yml file.
4. Your webpack configuration is not cre

WindowsからCodeCommitをSourceTreeで利用

`The requested URL returned error: 403`にハマりました

HTTPSだとWindowsの認証情報ヘルパーがうまく機能しないようで
認証情報ヘルパーを使用しない設定でGit for Windowsを再インストールするといいとのことですが
後日また同様のエラーがでて安定してくれませんでした。

結果、SSHで対応しました。

秘密鍵はこちらを参考に生成してみてください

https://docs.aws.amazon.com/ja_jp/codecommit/latest/userguide/setting-up-ssh-windows.html

SSHキーの秘密鍵ファイルのパスは
`ツール>オプション>全般`から設定します

cloneする際のURIへIAMのアクセスキーIDを含めるようにします

IAMユ

EC2 (プライベートサブネット) を Systems Manager で管理する設定

#環境

環境は以下の通り。
SSM エージェントが必要となるため、Amazon Linux 2 を使用。

| パラメータ | 値 |
|:————:|:————:|
| VPC | 10.0.0.0/16 |
| AMI | Amazon Linux 2 |

#SSM 用の IAM ロールのアタッチ

以下にある通り、`AmazonSSMManagedInstanceCore` が含まれた IAM ロールを作成し、EC2 にアタッチする。

https://docs.aws.amazon.com/ja_jp/systems-manager/latest/userguide/setup-instance-profile.html

#VPC エンドポイントの作成

以下の VPC エンドポイントを作成する

・com.amazonaws.region.ssm
・com.amazonaws.region.ec2messages
・com.amazonaws.region.ssmmessages

![image.png](ht