AWS関連のことを調べてみた2022年10月27日

【AWS Lambda レイヤー】設定したときにハマった話

# 初めに
AWS Lambda でBoto3の最新バージョンを使いたくて、レイヤーを設定する際にハマった箇所の備忘録です。

### (そもそも)なぜレイヤーを使う？
AWS Lambda でPythonのBoto3を使うとき、
* デフォルトでのBoto3は __Ver.1.20.32__
* 最新のBoto3は __Ver.1.25.1__

となっていました。何が問題化かというと、公式ドキュメントに書かれているサンプルコードの通りに実装しても動かないんです！！（ひどい落とし穴）

### 前提
この辺りを参考にしながら進めました。とてもに参考になります。
本記事ではレイヤーの作成方法は記載しませんので、レイヤーの作成方法自体わからないという方は下記サイトをまずはご覧ください。

https://dev.classmethod.jp/articles/lambda-boto3-layer/

https://qiita.com/shimajiri/items/e0e41f2c7a8ac99f3253

# 本題
## 罠１：フォルダパス
### 動かなかったもの
“`
b

Amazon DocumentDBに接続する

# Amazon DocumentDBとは

Amazon DocumentDBはMongoDB互換のAWSのフルマネージドサービスになります。
Amazon DocumentDBを使用することで構築の簡素化、自動スケーリングや自動パッチ適用など運用の簡素化を図ることができます。
Amazon DocumentDBは2022年10月現在、MongoDB 3.6および4.0のドライバーおよびツールと互換性があります。

# Amazon DocumentDBに接続してみる

Amazon DocumentDBに接続するには、MongoDBが提供している`mongo`コマンドで接続が可能です。そのため、まずは`mongo`コマンドをインストールします。

## mongoのインストール

Amazon DocumentDB 4.0に接続することを想定します。
また、クライアント環境はAmazon Linux2のEC2インスタンスを想定します。
`mongo`コマンドのインストール手順については[MongoDBのサイト](https://www.mongodb.com/docs/

DynamoDBのS3 Exportを確認する

# 背景・目的
DynamoDB(以降、DDBという。)のデータをS3に出力し、Glueで参照するにあたり以下の内容を確認します。
– DDBからS3にExportの時間
– ファイル数

# まとめ
以下の条件でのExportの実行時間は「5分程度」、ファイル数は「6」でした。
– DDBのレコード件数は約104万件

# 実践
## 準備
### データの準備
1. CSVファイルをアップロードするバケットを用意します。

1. ファイルを準備します。
“`
$ head ddb-import.csv
“id”,”time”
“12”,”20221027″
“13”,”20221027″
“14”,”20221027″
“15”,”20221027″
“16”,”20221027″
“17”,”20221027″
“18”,”202210

DynamoDBのバックアップとS3エクスポートを試してみた

# 背景・目的
DynamoDB（以降、DDBという。）のバックアップを試したときのメモを残しておきます。

# まとめ
バックアップとリストアでは、以下の3つが利用できます。

|パターン |特徴 |　仕組み| 用途|
|:– |:– |:– |:– |
|PITR | 過去35日〜直近5分前までの間で任意の時間に復旧可能| DDBの機能 | 分単位で任意の時間に戻したい場合|
|オンデマンドバックアップ | 任意のタイミングでバックアップを実行| AWS Backupまたは、DDBの機能| 35日より前のデータを使用してリストアしたい場合|
|S３エクスポート | 任意のタイミングでエクスポート
JSONフォーマットで出力される。|DDBの機能| 35日より前のデータを使用してリストアしたい場合、または他のAWSサービス（Athenaなど）で利用する場合
※エクスポートは35日間で任意の時間。|

# 内容
## DDBのバックアップ
DDBでは、以下の方法でバックアップが取れます。
– PITR
– オンデマンドバックアップ
– S3へのエクスポート

##

Transit Gateway Multicast とは

## 勉強前イメージ

transitgatewayの一つ？
VPCのタブで見るけどわからんね？
同時に送る？

## 調査

### Transit Gateway Multicast とは

VPCのtransit gatewayの項目としてあるもので以下が実際の画像になります。


そもそもマルチキャストとは複数のノードに対して一つのデータを同時に送信することを指します。
テレビ会議や動画配信などでトラフィックを効率よく伝送するためによく使われています。

Transit Gateway Multicastはマルチキャストアプリケーションを構築して
複数のVPCにデータを分散、配信することが簡単にできるようになります。

### 用語

– マル

GitHub ActionでAWS EC2にデプロイを実行する(AWSの事前準備)

# 概要

AWS EC2でAmazon linuxの仮想サーバーを作成
GitHubActionsを使って作成したAmazon linuxの仮想サーバーへデプロイを実行する為のAWSの準備

参考にした記事
[[初心者向け]VPC作成からEC2インスタンス起動までを構成図見ながらやってみる（その1）](https://dev.classmethod.jp/articles/creation_vpc_ec2_for_beginner_1/)
[[初心者向け]VPC作成からEC2インスタンス起動までを構成図見ながらやってみる（その2）](https://dev.classmethod.jp/articles/creation_vpc_ec2_for_beginner_2/)

# 前提
AWSのアカウント作成済み
GitHubのアカウント作成済み

# 目次
[1. VPC作成](#1-vpc作成)
[2. サブネット作成](#2-サブネット作成)
[3. インターネットゲートウェイを作成](#3-インターネットゲートウェイを作成)
[4. ルートテーブルの作成・設定](#4-ルートテ

suse-sles-sap-15-sp4-byos-v20220621-hvm-ssd-x86_64が動かない

下記、AMIから起動したけど全く動かない。
>ami-06c73730f8d26059e
suse-sles-sap-15-sp4-byos-v20220621-hvm-ssd-x86_64

インスタンスタイプをr6i→r5に変更したら動いた。

AWS lamdaからS3にファイルをアップロードする

いろいろなやり方があるようで、右往左往してしまったので、その経緯を備忘録的に残します。

結論として、
* API gatewayでマッピングテンプレートを設定する
* API gatewayでバイナリメディアタイプを設定する
* lambdaロールにS3へのアクセス権限を付与する
がポイントのようです。

## lambda関数の作成

pythonで作成します。

1. AWS lambdaから関数の作成へ

1. 任意の関数名を入力、python 3.8を選択して関数を作成します。
![スクリーンショット 2022-10-15 16.01.02.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/152192/ebbf3

Amazon Cloud上でWindowsファイルサーバーのデータをNetApp Cloud Volumes ONTAPに同期してみた

# NetApp Cloud Syncを利用してWindowsにあるファイルをCVOに同期
この記事では、WindowsファイルサーバーにあるデータをNetApp Cloud Volumes ONTAPに同期したいと思います。
# Keyword
* ONTAP
NetAppが提供しているストレージOS、FAS（Fabric Attached Storage)、AFF（All-Flash FAS）に搭載され、最⼩限の処理や負荷によって最⼤限の拡張性と管理性を提供し、CIFS（SMB）、NFS、iSCSI、FC、FCoEをサポートしています。

* Cloud Volumes ONTAP (CVO)
VMインスタンスにONTAPを搭載した重複排除・圧縮・階層化等効率機能を提供するクラウドストレージサービスです。CVOはONTAPのオンプレミスと同

AWS Certified Cloud Practitioner 超格安！ スレスレ合格体験記

# AWS Certified Cloud Practitioner *超格安！* スレスレ合格体験記

## 本記事の目的
2022 年 8 月 18 日に AWS 認定 Practitionaer の試験を受け、資格を取得しました。
本記事では、私がどのような状態からどのような経緯で資格取得に至ったかについて、振り返っていきたいと思います。

## 前提

受験を決定した段階での私の状態、環境は下記の通りです。

– AWS の学習、使用経験なしから学習をスタート
– クラウド以外のコンピュータおよびネットワークの知識は、座学中心でおおまかに習得済み（無資格）
– 技術者としての業務経験は無し
– AWS の各種サービスやリソースはある程度自由に使用可能
– 平日、業務時間を試験対策に充てることができる

## 目標設定

受験に当たっての目標です。これらに沿って学習計画を練ります。

– 学習期間約 1 か月での取得を目指す
– __有料コンテンツは可能な限り使わない__
– SAA など上位の資格を今後受験することや、業務で将来的に扱うことを意識して、発展を見越した学習を行な

CloudTrailでS3のデータイベントを証跡として保存してみる

# はじめに
監査ログを手軽にとれるサービスとして有名なCloudTrailですが、皆さん使っておりますでしょうか。
監査ログの中でも、データに関わる監査の重要性は高まっているように思います。
今回は、そんなデータに関わる監査の1つとして、S3に対する読み込み/書き込みオペレーションの監査ログをCloudTrailを用いて保存します。

# やりたいこと
– S3バケット「target-bucket-qiita」に対する読み込み/書き込みのオペレーションを保存する
– 保存先は、S3バケット「20221026-s3-cloudtrail-test」内の「sample」ディレクトリ内とする
– s3://20221026-s3-cloudtrail-test/sample/xxxxx と保存される

# 方法
1.まずはCloudTrailの画面から、証跡の作成ボタンをクリック。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2949357/7d35450e-f168-2be4-f

AWS Rekognition使ってみた

# AWS Rekognitionとは
画像や動画について、機械学習を使用して分析ができるサービスです。
自撮の画像と愛猫の画像に対して分析をしてみました。
独自の機械学習モデルを作成することも可能ですが、
今回は最も簡単に使用可能なデモ画面を使用しました。
– 自撮画像：顔の分析
– 猫画像：ラベル分析


# 自撮画像の分析結果
年齢以外は正確に分析されています。
現在27歳ですが、たまに年齢確認されるので、このくらいのレンジが妥当なのかもしれません。

# 猫画像の

Falco Ruleを紹介するシリーズ – CloudTrail Logging Disabled

:::note info
10/28（金）コンテナクラウドセキュリティで訊かれる「ランタイムセキュリティ」とは？と題してFalcoをSysdigが徹底解説するウェビナーを開催します。ご興味ある方はこちらから
https://go.sysdig.com/20221028JapanWebinar1.html
:::
本シリーズでは、ランタイム脅威検知のデファクトスタンダードであるFalcoの検知Ruleを、１つの記事で１つ簡単に紹介していきます。
ランタイムセキュリティやFalco自体の概要を知りたい方はこちらのブログ記事をご参照ください。
今回ご紹介する検知Ruleは「CloudTrail Logging Disabled」です。
# Rule記述
“`
– rule: CloudTrail Logging Disabled
desc:

LambdaからDynamoDBへデータを登録する(Ruby)

# はじめに
LambdaとDynamoDBを使用すればIOT用のグラフページを作成できるのではと思ったのでその備忘録。
この記事では図中上の「IOTデータ保存」部分を実施。


# DynamoDBの設定
パーテーションキーとソートキーがある
上記例ではパーテーションキーがidでソートキーがtime
パーテーションキーのみ、またはパーテーションキーとソートキーの2つを指定する事が可能。

今回のIOT機器の場合、idが機器固有の番号、timeがデータを計測した際の時間としています。
理由としてと

Spotifyのデスクトップアプリに足りない機能をタスクトレイアプリで補完してみた

# 概要
Spotify、便利ですよね
私も在宅勤務中ずっと聴いています。
ただ、使っていて不便に思う部分があったので自作アプリを作成しました。
コードは[Github](https://github.com/bitte8565/big-tray-star)にあります

# 機能概要
* spotifyでフォロー中しているアーティストの新曲を通知する
* spotifyで現在再生している曲をプレイリストに登録する（履歴用）
* 他人が作成したプレイリストが更新されたら通知する
* spotifyで再生数上位の曲をプレイリストに登録する
* 再生中の曲をブラウザでGoogle検索する

# 実行環境等
* windows10
* Python3.10
* Spotify API
* AWS Dynamodb
* AWS Systems Manager パラメータストア
パラメータストアは機密情報の取得に使っているだけです。

# 機能説明
以下、各機能の説明です。

## タスクトレイ
アプリ実行中はタスクトレイにアイコンが表示されます。
手動操作の機能は右クリックメニューから実行します

Amazon EKSでExternalDNSを利用する

# はじめに
Amazon EKSで[ExternalDNS](https://github.com/kubernetes-sigs/external-dns)を利用する方法をまとめます。
ExternalDNSは、パブリック DNS サーバーを介して Kubernetes リソースを検出します。

Mac環境を想定しています。

# 実行環境の準備
1. AWS CLIの設定
[AWS CloudFormationを動かすためのAWS CLIの設定](https://qiita.com/miyabiz/items/fed11796f0ea2b7608f4)を参考にしてください。

1. EKSクラスタの構築
[Macでeksctlを利用してAmazon EKSのクラスターを構築する](https://qiita.com/miyabiz/items/75f83237795b0b7d52bd)を参考にしてください。

1. EKSのコンテキストの設定
[MacにてAmazon EKSの設定をする](https://qiita.com/miyabiz/items/b98d145ced

EKS FargateのDatadog導入に躓いた話

## はじめに

Datadog導入するにあたってインフラメトリクスを取得するのに困難したので躓いたポイントをまとめて行きたいと思います。

## Datadogのアーキテクチャ

以下KubernetesにDatadogを導入した際のアーキテクチャです。

公式には以下のようなことが記述されています。

>Cluster Agent は、API サーバーとノードベースの Agent 間のプロキシとして機能します。これにより、API サーバーへの直接の負荷が軽減されるだけでなく、ノードベースの Agent はノードレベルのデータの収集に集中できます。一方、Cluster Agent はマスターノードからクラスターレベルのデータを収集します。Cluster Agent は、クラスターレベルのメタデータをノードベースの Age

インフラ環境を構築し、移行した際に出たエラーについて

# この記事について
今回初めてAWSを使い、VPCやサブネットを設定しインフラ環境を構築してみました。
その中で出たエラーについてまとめ、次回同じことで時間を取らないために書いていきたいと思います。

# エラーについて
今回環境を移行するにあたって2つエラーが出ました。
## 1つ目のエラー
AMIを使用し新しく作ったEC2へCLIを使用しアクセスした際に「WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED!〜」エラーが出ました。
###### エラーの内容
インフラ環境が変更されたことで、ローカルで保存されているホスト鍵の検証に失敗した様です。
###### 対応
“`
$ ssh-keygen -R xxx.xxx.xxx.xxx
“`
xxx.xxx.xxx.xxxに接続したいEC2インスタンスのパブリックIPアドレスを記述し実行することで、ローカル環境に存在する前回接続した際のホスト鍵の情報を削除してくれます。
これで無事EC2インスタンスに接続することが出来ました！
## 2つ目のエラー
EIPを付け替えて完璧！と思いURL

【完全SPA】独学・未経験者が「防災啓発」アプリを開発した話(1/2)【Rails/Nuxt.js/AWS/Docker/CircleCI/Terraform】

## 記事の内容

業界未経験がWeb系エンジニアになるべく作成したポートフォリオに関して、以下の情報を2つの記事に分けてまとめます。

1. ポートフォリオの紹介
2. 利用してもらった感想 と フィードバックによる改善
3. 技術選定理由 と 使用した教材の紹介
4. 反省 と 今後の課題

長くなりそうなので、まず本記事では、 1 と 2 について記事を書かせていただきました。
3 と 4については、[こちら](#)に書く予定です。
最後まで読んでいただけると嬉しいです！

## ポートフォリオ「Bosai Lv」紹介

## 概要

Bosai Lvは、**防災に関するタスクを達成することで、防災レベルが上がる**アプリケーションです。
以下の課題を解決できます。

– 「災害に備えなければいけない」のは分かるけど、具体的に何をすればよ

Amazon Elastic Inference とは

## 勉強前イメージ

elastic ○○ っていうサービス多いよね。
EC2の構築のときに項目として見たことがある

## 調査

### Amazon Elastic Inference とは

略して、Amazon EIとも言われています。
EC2と [SageMaker](https://qiita.com/miyuki_samitani/items/748863f326e8d871c4ac) 、ECSのインスタンスにGPUをアタッチさせることができる機能になります。

EC2の構築時ではこのように設定が出てきます。


またGPUとはGraphics Processing Unitの略で3Dグラフィックの画像処理とかで使う演算処理を行う半導体