AWS関連のことを調べてみた2022年10月05日

RedshiftのSuper型を試してみた

# 背景・目的
RedshiftのSUPER型でハマったのでメモを残しておきます。

# まとめ
– SUPER型に登録する際には、JSON_PARSE関数を通した上でKEY項目は小文字で登録する必要がありました。

# 概要
## SUPER型とは
SUPER データ型を使用して、半構造化データまたはドキュメントを値として保存する。
半構造化データは、SQL データベースで使用されるリレーショナルデータモデルの厳密な表形式の構造に準拠してない。これには、データ内の個別のエンティティを参照するタグが含まれる。
配列、ネストされた構造体、JSONなどのシリアル化形式に関連付けられているその他の複雑な構造体など含めることができる。

### 考慮事項
– JDBC ドライバーのバージョン 1.2.50、ODBC ドライバーのバージョン 1.4.17 以降、および Amazon Redshift Python ドライバーのバージョン 2.0.872 以降を使用する。
– SUPER データ型は、個々の SUPER フィールドまたはオブジェクトに対して最大 1 MB のデータのみをサポート

AWS Elemental MediaConvertを利用して、動画の拡張子をmp4に自動変換する構築

# はじめに
AWS Elemental MediaConvertを利用して、様々な拡張子の動画をmp4に変換する構築についてまとめます。
下記が変換フローになります。

1. アップロード用S3に動画・画像をアップロードする
1. Lambdaにイベント通知する
3. 画像の場合、視聴用S3にコピーする
3. 動画の場合、MediaConvertを使い、拡張子をmp4に変換
1. ユーザーが動画・画像にアクセスし視聴する
1. Media Convert で動画をS3にアップロードする前に、アクセスされた場合、オリジンフェールオーバーし、オリジン先がアップロード用S3に変更

6.に関して、Media Convertが実行完了する時間が長い場合、S3にアップロードされる前にリクエストされる可能性があります。
その際に、表示されるよう、オリジンフェールオーバーを利用しています。

![スクリーンショット 2022-10-04 17.28.39.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/98874

【AWS Amplify Studio】コードを書かずにサイト作ってみた【技術系VTuber】

https://www.youtube.com/watch?v=YGHdEllxpgU
のおまけ記事です。

App.cssに追加する内容
“`
.navbar {
position: fixed;
top: 0px;
left: 0px;
width: 100%;
z-index:100;
}

“`
App.jsの最終的な内容

“`
import logo from ‘./logo.svg’;
import ‘./App.css’;
import Amplify from ‘aws-amplify’;
import “@aws-amplify/ui-react/styles.css”;
import {
ItemCardCollection,NavBar, HeroLayout2, NewsCardCollection, ContactUs
} from ‘./ui-components’;
import awsconfig from ‘./aws-exports’;
Amplify.configure(awsconfig);

functio

AWS lightsail 静的ip固定 STATIC IP ADDRESSES

参考
https://lightsail.aws.amazon.com/ls/docs/ja_jp/articles/lightsail-create-static-ip

まずはlightsail管理画面へ
https://lightsail.aws.amazon.com/ls/webapp/home/instances

networking > create static ip と選択

Attach to an instance で
先程作ったサーバーを選択
そしたらピンアイコンが付きましたね。

Amazon RDS for Oracleの一時表領域用インスタンスストアを試してみた

# 1. はじめに

2022/9/14 に [「Amazon RDS for Oracle に、M5d/R5d インスタンス向けの一時テーブルスペース用インスタンスストアおよびデータベーススマートフラッシュキャッシュのサポートを追加」](https://aws.amazon.com/jp/about-aws/whats-new/2022/09/amazon-rds-oracle-instance-store-temporary-tablespace-database-smart-flash-cache-m5d-r5d/) が発表された。

RDS for Oracleにおいて、Oracle上からは通常は参照できないインスタンスストアの領域を、データベースの一時表領域またはスマートフラッシュキャッシュとして利用できる、という機能となる。
今回はいったん一時表領域としての利用について試してみた。

###### [インスタンスストア](https://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/InstanceStorage.htm

Compute Optimizer と Rightsizing recommendations を有効化

# はじめに

AWS にはコスト最適化のための方法が様々あり、システムを構成している AWS リソースの組み合わせに応じて最適な方法を採用いただけます。Rightsizing Recommendation と Compute Optimizer の始め方をご紹介します。

今回の記事で取り上げないコスト最適化の方法の一つに、Savings Plans や Reserved Instance で前払いで安く購入する方法もありますので、適宜他の方法もご検討ください！

# Rightsizing Recommendation

Rightsizing Recommendation は、ざっくり表現すると Amazon EC2 でインスタンスをもったいない使い方をしている事を調査して、推奨のサイズを教えてくれる機能です。AWS のマネージメントコンソールで簡単にご利用いただけます。

過去 14 日間の EC2 インスタンスの最大 CPU 使用率を基に、最適化されたインスタンスの推奨を出してくれます。この推奨事項を基に検討していき、無駄であることが分かった場合には、小さいサイズにしてコ

EC2インスタンスのインスタンス停止→インスタンスタイプ変更→インスタンス開始をCloudShellで実行してみた。

# はじめに
こんにちは、山田です。
今回は、EC2インスタンスのインスタンス停止→インスタンスタイプ変更→インスタンス開始をコマンドで実行してみました。

# 概要
今回は、CloudShellからコマンドにて、インスタンス停止・インスタンスタイプ変更・インスタンス開始を実施していきます。

#
今回は、“m1.medium“から“t2.micro“にインスタンスタイプを変更していきます。

下記が実行するコマンドです。
“`sh
aws ec2 describe-inst

Amazon SQS デッドレターキュー とは

## 勉強前イメージ

何らかの理由で届かなかったキューのこと指す？

## 調査

### まず Amazon SQS とは

フルマネージドのキューイングサービスで
ソフトウェア間を直接データを渡すのではなく、第三者経由でデータを渡すことで、送信側と受信側が好きなときに処理を行うことができます。
そのキューイングができるサービスがSQSになります。

### デッドレターキュー とは

デッドレターキュー(Dead Letter Queue)、略して DLQ と書きます。
DLQは正常に処理できないメッセージがキュー内に残り続けないように、移動させる機能になります。
また、DLQに入ったキューは一時的な障害等でない限りずっと残り続けます。
DLQはそもそも処理できないということを通知したり、処理が成功しない理由を調べるために役立ちます。

言葉は [こちらの前提知識](https://qiita.com/miyuki_samitani/items/e46ef9452fcd73f9d240#%E5%89%8D%E6%8F%90%E7%9F%A5%E8%AD%98) に記載していますが

AWSのDynamoDBにCRUD処理を行う方法（基礎編）

# AWSのDynamoDBにCRUD事始
AWSのDynamoDBにCRUD処理を行うために備忘録です。
初心者の方の参考になるかと思います。
今回は、自分のPCからAWSのDynamoDBに対してCRUD処理を行います。

# AWS側の処理
CURD処理を行うためにIAMで処理可能な権限を持つユーザーを作成します。

## IAMでやること
① IAMに行きユーザーを作成する

② 「アクセスキー・プログラムによるアクセス」をチェックし次へ
[](https://gyazo.com/cb4b795f7db7d37d7b09f85d4fdd683c)

③　作成したユーザーのDynamoDBにFull Accessできるポリシーを割り当てる
[](https://gyazo.co

ServerlessFrameworkでLambdaをVPCの中にいれようとしたらEC2の権限エラーがでる

# はじめに

ServerlessFrameworkで作成したLambdaにRDS通信を設定する作業を行っていたときに、VPC設定でつまづいたのでまとめます
設定の参考になる記事はあったのですが、説明が不足していたようだったので解決方法をまとめます

# 問題

ServerlessFrameworkでVPCの設定を行います
そこで以下の記事を参考に、IAMにEC2の権限を付与しました

“`yml:serverless.yml
iamRoleStatements:
– Effect: “Allow”
Action:
– “ec2:CreateNetworkInterface”
– “ec2:DescribeNetworkInterfaces”
– “ec2:DeleteNetworkInterface”
Resource:
– “*”
“`

しかし、実行コマンドを叩くと以下のエラーが発生します

“`
ApiLambdaFunction (AWS::Lambda::Funct

Amazon File Cache とは

## 勉強前イメージ

聞いたことないかも
file cacheってことはs3の前に置いたりする？

## 調査

### Amazon File Cache とは

2022/09/30 に一般提供が開始されたサービスで、ファイルサーバに対するキャッシュのサービスになります。
初期費用はかからず、キャッシュストレージ容量とメタデータのストレージ容量で費用が決定します。
Amazon File Cache以外ではs3のリクエスト費用などデータの送信や転送にかかわる費用は発生します。

現在サポートしているファイルサーバは以下になります。

– s3バケット
– NFSサーバ
– Amazon FSx for OpenZFS
– Amazon FSx for NetApp ONTAP
– オンプレのNFSサーバ(NFS v3)

### Amazon File Cache 対応リージョン

対応しているリージョンは以下になります。
東京リージョンも入っています。

– 米国東部(オハイオ)
– 米国西部(オレゴン)
– 米国東部(バージニア北部)
– アジアパシフィック(シンガポール

EC2からElastiCacheへ接続する方法

## はじめに
検証で、EC2からElastiCacheへ接続することになった。
その際にハマってしまったことを備忘録として記す。

## 用意するもの
– EC2
– ElastiCache

### 準備
– EC2の作成についてはググれば出てくると思うので割愛
– ElastiCacheの作成は、AWSコンソール上から作成

## 手順
### 1. EC2へログイン

localからログインしましょう
尚、詰まってしまった場合は以下を参照

https://qiita.com/ashley123/items/9b93b63833118456b2a9

### 2. ElastiCacheのコンソール上からクラスターのエンドポイントを確認
作成したElastiCacheのノード欄の横にエンドポイントが表示されます。それをコピーしましょう

“`
##エンドポイント例
test-001.hogehoge.0001.apen1.cache.amazonaws.com:6379
“`

### 3. EC2からエンドポイントへ接続前準備
[資料](https://aws.amaz

AWS S3で追加した画像をFlutterで表示する方法

# はじめに

`S3`で追加した画像をFlutterで表示する方法がわからず苦労したので、
解決方法を記事にしたいと思います。

今回の記事では、**S3にアクセスするのに[minio](https://pub.dev/packages/minio)というパッケージを使用しています。**

Flutterで、AWS のサービス・リソースにアクセスするときに使うライブラリは、公式には[amplify](https://aws.amazon.com/jp/amplify/)使用するのがスタンダードみたいで、`S3`へのアクセスには[amplify_storage_s3](https://pub.dev/packages/amplify_storage_s3)を使用するみたいですが、
`amplify`の事前準備が面倒に思えたので`minio`を使ってます。

また解説は**Flutterの環境設定とコードのみ**となります。
`S3`での画像追加方法については割愛しますのでご了承ください。

# 目次

1.

EBSボリュームを作成し、EC2インスタンスにアタッチする

## アジェンダ
1 はじめに
2 環境説明及び、前提条件
3 事前確認
4 EBSボリュームア作成
5 EBSボリュームアタッチ
6 パーティション作成
7 ファイルシステム作成
8 デバイスマウント
9 まとめ

## 1 はじめに
こんにちは、NTTデータ先端技術の陰です。
今回は、Amazon Web Services（AWS）で新しくElastic Block Store（EBS）ボリュームを作成し、Elastic Compute Cloud（EC2）インスタンスにアタッチする方法について紹介します。

## 2 環境情報及び、前提条件
今回、作業を実施する環境情報及び、前提条件は以下の通りです。

##### 環境情報
OSイメージ：Amazon Linux 2 Kernel 5.10 AMI 2.0.20220912.1 x86_64 HVM gp2
リージョン：ap-northeast-1（アジアパシフィック (東京)）

##### 前提条件
①シェル・ターミナル・コンソールがセットアップされていること
②AWSマネジメントコンソールにアクセスでき、作業に必要な権限が

さいきょうのクラウドストレージを Amazon FSx for NetApp ONTAP + Nextcloud で作る！（その2）

# はじめに
この記事は、NetApp のストレージ OS である ONTAP の機能を活用して、自前のクラウドストレージを構築する為のアイディアの紹介と構築メモです。

[前回の記事](https://qiita.com/takuo_yamazaki/items/0e8aff7549fc54a156bd)では、AWSのEC2でNextcloud サーバーを立て、データの保管場所として Amazonm FSx for NetApp ONTAP (以下 FSxN)の環境を作る手順を紹介しました。

今回は Active Directory のユーザーでログインしたり、 Windows PC から直接共有フォルダーを見えるようにしていきます。
これにより、オンプレのファイルサーバーをクラウドへ移行した際に、従来通りのファイルサーバーとして使いつつ、クラウドらしくモバイル利用も、と両方使えるような環境を作ってみます。

# 用意するもの
## Nextcloud + FSxN
前回記事の
https://qiita.com/takuo_yamazaki/items/0e8aff7549fc

AWSのCDKに入門してみた

みなさんこんにちは！

AWS CDKは使われたことはありますでしょうか？

私自身、現在はTerraformを使ってGCPのリソース管理の業務があるため、Terraformを触ることはあるのですが、AWS CDKについてほとんど知見がありませんでした。

ただ、次の職場ではインフラのリソース管理をTerraformではなく、AWS CDKを使って管理しているので、今回はその入門として備忘録的な記事として作成します。

## AWS CDKとは


AWS CDKとは`AWS Cloud Development Kit`の略です。

現在バージョン2がリリースされており、1のサポート期限は2023/6/1となっております。

ざっくり説明しますと、「プログラミング言語を用いてクラウド上にアプリケーションを構築することができるIaC」です。

さいきょうのクラウドストレージを Amazon FSx for NetApp ONTAP + Nextcloud で作る！（その1）

# はじめに
この記事は、NetApp のストレージ OS である ONTAP の機能を活用して、自前のクラウドストレージを構築する為のアイディアの紹介と構築メモです。

クラウドストレージというと、ブラウザやモバイル端末からもアクセス出来るインターネット経由で使えるファイル共有サービスというイメージがありませんか？
例えば Box や OneDrive が有名ですね。

簡単手軽につかえて便利なサービスである一方で、IT管理者としてはこんな課題もあるそうです。

* データが国外に保存されるので、コンプライアンス的に問題
* 動画や画像の大量保存には不向き（容量や保存できるファイルサイズが限られている）
* 移行が大変
* 使い勝手の大幅な変化（Excelで作った共有ツール等が動かない）
* ランサムウェア・ウィルス対策が難しい

クラウド移行はしたいけど、このような課題の為に断念したり、一部は移行してもオンプレも残すといった選択をする方もいるかもしれません。

そんな課題を解決できる（かもしれない）クラウドストレージを自前で構築しよう

というテーマで数回に分けて投稿をします。

プレイリストシステム③

## 初めに
[前回](https://qiita.com/wawon1111/items/19777c4cf25df6c1770e)はプレイリストシステムの要件を決めました。今回はシステムの方式設計を行っていきたいと思います。

## 方式設計とは
まず私がここで言っている方式設計とはいろんなサイトを見ていると基本設計とも表現されています。というか、基本設計と書かれている方が多そうですが、私の馴染み的に方式設計と記載させていただきます。

システム方式設計とは、情報システム開発の設計工程の一部で、システムに必要とされる各要件をハードウェア、ソフトウェア、利用者による手作業のいずれによって実現するかを確定し、全体の構成や構造を決定すること。

https://e-words.jp/w/システム方式設計.html

ここから方式設計を行っていきたいのですが、すべての項目を網羅しようとすると時間がかかってしまうのでここでは自分が思いつく範囲の方式を決めていきたいと思います。

### 構成図
構成図は様々な書き方がありますが、今回はブラウザからも使用できる[diagrams.net](ht

始めての Terraform on AWS

いつも、CloudFormation で構築しているが、今回は、学習のために、Terraform で構築してみた。

## Terraform の導入

以下、Terraform のサイトから、各OSにあったものをインストールする。

https://www.terraform.io/downloads

今回は、Cloud9 (Amazon Linux2) で実行しています。

“`
$ sudo yum install -y yum-utils
$ sudo yum-config-manager –add-repo https://rpm.releases.hashicorp.com/AmazonLinux/hashicorp.repo
$ sudo yum -y install terraform
$ terraform version
Terraform v1.3.1
on linux_amd64
“`

## 作業ディレクトリの作成

“`
$ mkdir Teraform
$ cd Teraform/
“`

## provider の指定

“`tf:ter

【AWS】Account Factory for Terraformを実装してみた （はじめに）

こんにちは。

私は業務上月2－3回は組織内でAWSアカウントを発行しています。
一々手動でポチポチ作業していたため何かで自動化できるといいなーと思っていたところ、**AWS Control TowerのAccount Factory for Terraform（以下AFT）** というものを耳にしました。

名前の通り、アカウントを発行してくれる工場なのかな・・？（＾＾）；；
今までTerraformは1回も触ったことがなかったので、とりあえず公式ドキュメントをメインに参考して勉強しました。

私が一番参考になったドキュメントはこちらです。 ⇣
– **Terraformで提供している公式手順**：https://learn.hashicorp.com/tutorials/terraform/aws-control-tower-aft
アカウントカスタマイズの書き方は書いてないですが、全体的にAFTをどうデプロイすれば良いか具体的に書いています。
– **AWSブログ**：https://aws.amazon.com/jp/blogs/news/new-aws-control