AWS関連のことを調べてみた

ローカルからS3に同期させた体験談

こんにちは！私は駆け出しエンジニアで、現在AWSの勉強中です。最近、AWS S3を使ってローカルファイルを同期させようとした際、初歩的なミスで無料利用枠を超えてしまったので、その体験を共有します。

## 失敗談から学ぶAWS S3の使い方
先日、ローカルからS3にフォルダーを同期させようとしたのですが、操作ミスで無料利用枠を超えてしまいました。AWS S3の無料利用枠は以下の通りです：

12ヶ月間
5 GB の標準ストレージ
20,000 件の Get リクエスト
2,000 件の Put リクエスト

私はAWS CLIを使って同期を行いましたが、メインディレクトリのまま実行してしまいました。その結果、ローカル全てのファイルが同期されてしまいました。

「なぜこんなに時間がかかるんだろう？」と不思議に思っていたところ、やっとのことで異変に気づきました。「ん？すごい数のファイルを読み込んでいるぞ…」と確認したら、案の定、AWSからアラートメールが届きました。

すぐに無料利用枠を確認すると、12ヶ月間は5GBのストレージが無料ですが、1ヶ月に20,000件のGetリクエストと2,0

AWS SAM を知る #AWS

## 初めに

最近AWS上のシステムを触るときに触れた技術であり、よく理解できなかったのでドキュメントに触れつつ基本的な使い方について紹介していきます。

本記事の前半ではSAMやSAM CLIの概要と特徴について説明し、後半にコマンドの使い方について紹介していきます。コマンド紹介までスキップするには[こちら](#SAM CLIコマンドについて)

## AWS Serverless Application Model (AWS SAM)とは

最初に[公式ドキュメント][sam]から引用してSAMの概要・特徴を説明します。

### SAMの概要

公式ドキュメントより

> AWS Serverless Application Model (AWS SAM) は、サーバーレスアプリケーションの構築と実行における開発者の操作性を向上させるツールキットです。

では次にSAMの特徴について説明していきたいと思います。

– コード記述によりアプリインフラを定義できる
– サーバーレスアプリケーションを管理できる
– コネクタを利用してリソース間の権限移動を動的に行える
–

データ分析基盤構築：Terraformを用いたRDS、Glue、Redshiftによるデータ移行

# はじめに

本リポジトリは、Terraformを使用してAWS上にデータ分析基盤を構築し、RDSからRedshiftへのデータ移行を行うための手順をまとめたものです。これにより、インフラ管理の効率化とデータ分析の迅速化が可能となります。

作成したレポジトリーはこちらです。

https://github.com/sugiyama404/practice_aws_glue

# 目的
1. AWS上のデータ分析基盤を自動構築し、インフラ管理の効率化を実現
2. RDSからRedshiftへのデータ移行を自動化し、データ分析を迅速化

# アーキテクチャ


基盤は以下のコンポーネントで構成されています。

+ RDS: MySQLやPostgreSQLなどのデータベースをホストします
+ Glue: データ変換とデータロードのためのサーバーレス

Amazon BedrockでClaude3.5を触ってみる part1

# 前置
数日前にリリースされたClaude3.5 Sonnetが現時点の性能が非常に良いという情報がXに流れてきた
せっかくなので触ってた
https://claude.ai/chats

レスポンスも早い。
Claude公式サイトは英語だが日本語での回答もしてくれる。

AI回答曰くAmazon BedrockにもClaude 3.5 Sonnetは対応しているようなので、いい機会だし触ったことがないサービスの1つであるBedrockを触ってみようと思う。


(ちなみに筆者は生成AIについてはChatGPTをシステム開発で軽く使っているくらいの知識しかない)

# 本題
という訳で早速触って行こうと思う。

会社の学習用AWSアカウントを利用してBeadrockにアクセスしてAnthropicを

Amazon Athenaで日付でパーティション射影をする

webエンジニアの風速です。
今回はAmazon Athenaを業務内で使用して日付でパーティションの射影をするのに苦労したので、そちらをまとめられたらと思います。

# Amazon Athenaとは
Amazon Athenaは、SQLを使用してS3内のデータを直接分析に利用できたりするクエリサービスです。サーバーレスで、読み込んだ容量に応じて課金されるシステムになっています。データ1TBあたり5.00USDらしい（ap-northeast-1）
S3内のcsvなどのデータを読み込んで実際のrdbのテーブルのように操作可能です。

# パーティションとは
パーティションという機能はAthena以外にもrdbの機能にあるもので（調べて初めて知った）、テーブル内のデータを格納する場所を分けられる機能です。
Athenaでは読み込むデータによって課金されるため、デイリーとかで動かす場合はかなり重要で、公式も料金かなり削減できると言ってます。

# パーティション射影とは
S3のディレクトリを自動的にパーティション分けしてくれる機能です。テーブル定義のときに設定を書くと、その形式でパーティ

“無課金”でAWS Specialty Security合格する方法

# ステータス
– AWSを使い始めて1年半
– AWS保有資格
– AWS Certified Cloud Practitioner（クラウドプラクティショナー）
– AWS Certified Solutions Architect – Associate (ソリューションアーキテクト-アソシエイト)
– AWS Certified SysOps Administrator – Associate（アドミニストレーター）
– AWS Certified Developer – Associate（デベロッパー）
– Specialty資格には初挑戦です！

# AWS Certified Security – Specialty とは
[AWS公式](https://aws.amazon.com/jp/certification/certified-security-specialty/)
– AWS上のセキュリティに関する、セキュリティエンジニア向けの資格
– 受験料 400 USD
– 受験時間 170分
– 試験携帯 65問(選択式)

# な

インスタンスファミリーの6つのカテゴリーをまとめてみた

*汎用*

コンピューティングやメモリ、ストレージ等において最もバランスの取れたカテゴリ
インスタンスタイプ例:M7g、Mac、T3
ユースケース :ウェブサイト、ウェブアプリケーション、開発環境

*コンピューティング最適化*

高パフォーマンスプロセッサの恩恵を受けるコンピューティングバウンドなアプリケーションに最適なカテゴリ
インスタンスタイプ例:C7g、C6i
ユースケース :ハイパフォーマンスコンピューティング (HPC)、バッチ処理、広告配信、動画エンコーディング、ゲーム、科学的モデリング、分散分析、および CPU ベースの機械学習推論

*メモリ最適化*

メモリ内の大きいデータセットを処理するワークロードに対して高速なパフォーマンスを実現するように設計されたカテゴリ
インスタンスタイプ例:R7g、X2gd、u-3tb1、z1d
ユースケース :オープンソースデータベースやリアルタイムビッグデータ分析

*高速コンピューティング*

ハードウェアアクセラレーターを使用して浮動小数点演算やグラフィック処理等を効率的な処理を行うことが

【生成AI】Amazon Bedrockを使用してJupyterNotebookのコードを解説させてみた

どうもこんにちは。

今回は、Amazon BedrockのAPIを使用して、Jupyter Notebook（SageMakerノートブックインスタンス）のコードを解説させてみました。

# 使用したモデル

新しいClaude3を使用したかったのですが、東京リージョンでは7月から使えるようなので、今回は我慢します。
なので、Claude2.1を使用します。

AWSコンソールの`Amazon Bedrock > モデルアクセス`のページからアクセスをリクエストしておきましょう。


# IAMポリシーについて

今回は、SageMakerノートブックインスタンスからBedrockへアクセスする必要があるので、ノートブックインスタンスに紐づいている`IAMロール > ポリシー`を変更する必要があ

【Solutions Architect – Associate(SAA-C03)】 勉強方法と試験の雰囲気【合格祈願】

# 書くこと
AWSでの実務経験は半年ない位ですが、なんとかAWS Certified Solutions Architect – Associate（SAA-C03）に800点台半ばで合格できたので以下をメモしておきます！
– 本番の問題の雰囲気
– 勉強方法

# 本番の問題の雰囲気

:::note info
総合的な知識を問うてくる問題が多し。
:::

:::note warn
以下はすべて 「自分が受験したときは」 という前提です🙇‍
ランダム出題なので、必ずしもこの傾向とは限らないかもしれないのでご了承お願いいたします。
:::

– 各種問題集をやっていて「**SQSとLambdaはめっちゃ出題されそう！！！**」と確信していましたが、やはりその通りでめっちゃ出ました。
– **データベースの選択、ストレージ共有系**も多かったです。
– 公式サンプル問題にはDR戦略の問題が多かった気がしますが、今回自分の場合は、思ったよりは多くなかったです。
– **簡単に計算しないと回答できない問題**も数問ありました。
– 問題文の日本語があんまり読みやすくないです。しかも改行

CloudShell をVPCで試してみた

# 背景・目的
本日、[AWS CloudShell now supports Amazon Virtual Private Cloud (VPC)](https://aws.amazon.com/about-aws/whats-new/2024/06/aws-cloudshell-amazon-virtual-private-cloud/)が発表されました。
VPC内で CloudShellが使用できるとのことですので試してみました。

# まとめ
下記に特徴をまとめます

|特徴|説明|
|:–|:–|
|概要|VPCでCloudShellが使えるようになる|
|制約|IAMプリンシパル毎に最大2つのVPCの作成まで

VPCには最大5つのSGまで割り当てが可能

アップロード、ダウンロードオプションは使用できない

ストレージは一時的なもの

|

# 概要
[Using AWS CloudShell in Amazon VPC](https://docs.aws.amazon.com/cloudshell/latest/us

Kubernetes is 何

実務でAmazon EKSを設計するタスクを任されたため、そもそもKubernetesがよくわかっていないのでそれぞれコンポーネントなどを理解するために本記事を執筆します。

前提としてコンテナとは何か？ということはお話しません。

## Kubernetes is 何
すごく簡単にいうと複数コンテナを作って、監視して、何か障害が発生したら自動でコンテナを停止させて、新しいコンテナを作って運用されるため、運用を自動化してくれるという優れものです。

Kubernetesは「宣言型」と言われるツールでmanifestファイルと呼ばれるjsonまたはyml形式でコードを記述することで望ましい状態を定義することができます。
望ましい状態を定義することで、指定した数のコンテナ数を維持することが

Amplify Gen2でPoC開発：チーム開発に導入してみての感想と効率アップTips

# はじめに
本記事は“`Amplify Gen2を取り入れてみたい方“`に向けて執筆しました。、実際にAmplify Gen2を3ヶ月ほどPoCで使用した経験とAmplify Gen2 FestivalやAWS Summitに参加して学んだノウハウについて紹介します。
“`はじめてAmplifyを扱う方“`向けの記事も後日書こうと思います（意思表明）

# PoCで使ってみてのどうだった？
Amplify Gen2を3ヶ月ほどPoCで使ってみましたが、“`この先全部Amplifyでいいんじゃないか？“`と思うほど良い開発体験ができました。そう感じた理由を4つ紹介します。

### １. CICDの構築が1分で完了
これ、本当に1分でできます。PoCでは早期に価値検証を行いたいため、開発環境やCICDの構築に時間をかけたくありません。Amplify Gen2ではフルスタックGitデプロイメントを採用しているため、コンソール画面でGit repositoryと接続するだけでパイプラインが完成します。さらに、ブランチに紐づいた環境が自動作成され、URLが払い出されます。加えて、

Amazon SageMaker JumpStart で ELYZAのモデルを動かしてみた！

# はじめに
こんにちは!**yu-Matsu**です。
皆さん楽しい生成AIライフをお送りでしょうか。

　約１週間ほと前に以下のような **ELYZAの日本語 LLM が SageMaker JumpStart で利用出来るようになった** という内容のAWSブログが投稿されました。以前からSageMakerとELYZAのモデル両方とも触ってみたいと思っていたところだったので、試してみることにしました！

https://aws.amazon.com/jp/blogs/news/sagemaker-jumpstart-elyza-7b/

# ELYZAの日本語モデルについて

https://note.com/elyza/n/na405acaca130

　今回利用するモデルは、2023年の8月末に**株式会社ELYZA**が公開した**ELYZA-japanese-Llama-2-7b**というモデルのシリーズになります。Meta社の**Llama 2**をベースに本語による追加事前学習を行なった、**70億パラメータを持つ日本語言語モデル**ということで、当時は話題になっ

Cloudblast AWS 代替 – AMD Epyc VPS, 10 Gbps, 2.5Tbps DDoS保護, 時間単位の課金


ウェブサイト: https://cloudblast.io/
Discord: https://discord.gg/rMMZs6jpN6

主な特徴:
🌐 VPS全てで10 Gbps
🛡️ 2.5 TbpsのDDoS保護
🔥AMD EPYCハードウェア
🔥高速NVMe SSD
💵 時間単位の課金
🌟とても使いやすいコンソールパネル

AWS RDS PostgreSQLで使用するSecurityGroup（アウトバウンド）について調査

# 概要

AWS RDS PostgreSQLで使用するSecurityGroupのインバンドの設定は分かりやすいものの、アウトバウンドの設定についてRDS側からアウトバウンドするケースがあるのかと気になったので調査した。

# 結論
基本的には「**アウトバウンドを使用することはない**」が、
限定された条件でアウトバウンドを使用する場合がある。
※リンクは全てAWS公式ドキュメントです。

* S3へのデータ転送
* [参考「RDS for PostgreSQL DB インスタンスから Amazon S3 へのデータのエクスポート」](https://docs.aws.amazon.com/ja_jp/AmazonRDS/latest/UserGuide/postgresql-s3-export.html)
* Lambda関数の実行
* [参考「Aurora PostgreSQL DB クラスターから AWS Lambda 関数を呼び出す」](https://docs.aws.amazon.com/ja_jp/AmazonRDS/latest/AuroraUse

AWS上にActiveDirectoryを構築したらEC2やVPCの一覧が見えなくなったぞ!?

# 状況
オンプレのADをクラウドに移行したらEC2の一覧画面でずっと読込中→タイムアウトになっちゃった…

# 結論
Active DirectoryのDNSサーバのフォワーダにRoute53 Resolverが入っていませんか？(VPCセグメントの先頭+2のIPアドレス)
CloudWatchをプライベートサブネットで使うためにVPCエンドポイントを作っていませんか？
VPCエンドポイントにCloudWatchがあるとec2.*.amazonaws.comに対しての名前解決がVPCセグメント内に行われ、VPCセグメント外からアクセスしようとすると応答できないので表示できなくなります。

# 対策
1. ADのフォワーダに登録されたRoute53 Resolverを削除
2. Route53 ResolverにADのドメインに対しての問い合わせルールを登録(ADのドメインに対してはADのEC2に対してDo53で転送)
3. VPC内のEC2でAD以外のマシンはADに向けていたDNS設定を全てRoute53 Resolverに向け直す
(オンプレやVPC外のEC2等はそのままADに向け

GuardDuty Malware Protection for S3を試してみた

# 背景・目的
先日、AWS re:Inforce 204 や、[Amazon GuardDuty を使用した Amazon S3 に新しいオブジェクトをアップロードする際にマルウェアを検出](https://aws.amazon.com/jp/about-aws/whats-new/2024/06/detect-malware-object-uploads-amazon-s3-guardduty/)で、S3のマルウェア検知が発表されました。

# まとめ
下記に特徴を整理します。

|特徴|説明
|:–|:–|
|概要|S3のマルウェア保護は、S3バケットに新しくアップロードされたオブジェクトをスキャンすることで、マルウェアの潜在的な存在を検出する

S3オブジェクトがアップロードされると、GuardDutyは自動的にマルウェアスキャンを開始する

GuardDutyを有効にしなくてもも利用できる|
|対象|自分のAWSアカウントに属するS3バケットに対して、有効にできる

バケット全体に有効にできる。または、オブジェクトプレフィックスを指定

【AWS】用語を整理しながら学ぶAWS Amazon Neptune

## はじめに

この記事ではAWSが提供するAmazon Neptuneを学習していく内容となっています。
主な内容としては実践したときのメモを中心に書きます。（忘れやすいことなど）
誤りなどがあれば修正していく想定です。

## Amazon Neptuneとは

まずはサービス概要を見ていきましょう。Amazon Neptuneとはなんでしょうか。
AWSの公式サイトには下記のように表現されています。

> 優れたスケーラビリティと可用性を実現する高性能なグラフ分析とサーバーレスデータベース
> 頂点とエッジの数に制限なくスケール可能
> 組み込みのアルゴリズムを使用して数百億もの関係を持つグラフデータセットを数秒で分析する
> Neptune Database を使用

[引用：Amazon Neptune（完全マネージド型グラフデータベースサービス）| AWS](https://aws.amazon.com/jp/neptune/)

また、Amazon Neptuneは下記の2つのサービスに分類されます。

– Amazon Neptune Database
– Amazo

ONTAPのイベントログをAthenaで見たかったけど出来なかった

ONTAPのイベントログをAthenaで見たかったけど出来なかった話（単純ではなかった）

Windowsのコマンドイベントログで.evtxファイルをCSVに簡単に変換できます。
以下のPowerShellスクリプトを参考にしてください。

“`powershell
# 変換する.evtxファイルのパス
$evtxFile = “C:\Users\admin\Desktop\audit_log.evtx”

# CSV出力先のパス
$csvFile = “C:\Users\admin\Desktop\audit_log.csv”

# イベントログを取得してCSVに変換
Get-WinEvent -Path $evtxFile | Export-Csv -Path $csvFile -NoTypeInformation
“`
この方法でCSVに変換することは可能ですが、単純にCSVに変換しただけでは欲しい情報を抽出するのが難しく、Athenaを利用しても十分な分析ができませんでした。

以下の記事にあるように、Pythonを利用して必要な情報を定義し、目的に合ったCSVへ変換する必

AWS Summit Japan（2024）でJamに参加して3位入賞しました！

たんじです。

今回は、AWS Summit Japan（2024）の中で開催されたJamイベントに参加してとても面白かったのと3位に入賞できたのでそのことについて書かせていただきます！

# AWS Jamとは？

> AWS Jam は、AWS のユースケースに沿って用意された様々なテーマの課題を解決しながら「AWS を楽しく学ぶ」実践型のイベントです。参加者は AWS やシステム開発の知識や経験を活用し、必要に応じてその場で情報を調べながら、与えられた複数の課題を AWS マネジメントコンソールを利用してクリアしていきます。
課題ごとに獲得得点やヒントが設定されており、時間内にクリアした課題と使用したヒントを総合してチームの得点を競い合います。

というものです。「AWS を楽しく学ぶ」とうところがGameDayとの違いかなと思います！

https://aws.amazon.com/jp/summits/japan/expo/#:~:text=%E3%81%8A%E7%9F%A5%E3%82%89%E3%81%9B%E3%81%97%E3%81%BE%E3%81%99-,aws