AWS関連のことを調べてみた

AWS Databricksのサインアップおよびワークスペース作成(2024年10月版)

前回からちょうど1年が経ちました。

https://qiita.com/taka_yayoi/items/e7991e88e34cd8205483

# 前回からの変更点

– 以前は無料トライアルは14日間だったのが30日間に変更されました。
– サーバレスの機能(SQLウェアハウス、モデルサービングエンドポイントなど)を利用できる400ドルのクレジットが付与されるようになりました。30日が経過する前にクレジットを使い切った場合には、その時点でトライアル期間も終了します。
– 認証方式の変更。以前はパスワードログインが可能でしたが廃止されています。
– [Unity Catalogの自動有効化](https://docs.databricks.com/ja/data-governance/unity-catalog/get-started.html#automatic-enablement-of-unity-catalog)に伴う挙動の変更(後述します)。

# サインアップ

前回同様こちらにアクセスします。氏名、メールアドレスなどを入力して送信をクリックします。この際のメールア

EC2インスタンス上にWebサーバ（Apache）構築やってみた

## 全体像

## 必要なAWSリソース
・VPC　×　１　（ ap-northeast-1：東京リージョン）
・パブリックサブネット　×　１
・EC2インスタンス　×　１
・インターネットゲートウェイ　×　１

## 到達目標
　自PCからEC2（Webサーバ）へHTTPアクセスを実施し、”Hello World”を表示できること。

## 構築手順
　*今回は、AWSリソースの作成について説明を省略しますので、確認したい方は、こちらを参考にしてください。

１．TeraTermにてEC2へのsshログイン
　➀「ユーザ名」入力　→　➁「RSA/DSA/ECDSA/ED25519

New Relic InfrastructureでAWS Fargateをモニタリングしよう！

New Relic Infrastructure を、AWS Fargateに導入することで、タスク、サービスに関するリソースの監視ができるようになります。本記事ではAWS Fargate への導入手順を紹介します！

# New Relic Infrastructure とは
New Relic Infrastructure とは、 Goで作られた軽量の実行ファイルであるInfrastructure エージェントをサーバサイドで稼働させることで定期的に**OS、ミドルウェア、ネットワークなどのパフォーマンス情報ログや OSのパッケージ情報を収集する機能**です。**主要なLinux ディストリビューション、Windows、MacOSなどのメジャーなOSに対応**しており、**DockerコンテナやAWS FargateやAmazon EKSなどコンテナ環境にも対応**しています。

インストール要件の詳細は公式ドキュメントをご確認ください。

https://docs.newrelic.com/jp/docs/infrastructure/install-infrastructure

slurm federationを使ってaws parallel clusterと連携する（準備①）

### はじめに

今回のslurm federation機能に関する記事、世の中に全然無かったので、ちょっと挑戦してみようと思いました。

slurm federation機能を使うことで、slurmマスターが複数あっても、JOBIDを統一的に発行し、別クラスターからでもジョブを投入出来るようにする構成です。

これを行う事で、普段オンプレでslurmジョブを投入するのとあまり変わらずaws parallel clusterでジョブを投入出来るのでは？っと思い、今回はまずはオンプレにあるslurmマスターでfederationが出来るか構成してみます。
次回はaws parallel clusterに拡張します。(まだ出来るかは不明）


https://slurm.schedmd.com/network.html#

App RunnerからCognitoへ接続時にx509: certificate signed by unknown authorityが発生

## 事象
App RunnerからCognitoへ接続しようとした時に、`x509: certificate signed by unknown authority` が発生

## 前提
App Runnerにイメージをコンテナデプロイしている

## 原因

App RunnerがCognitoのSSL証明書を検証できなかった。
App RunnerにCA証明書(ルート証明書)がインストールされていなかったため。

App Runnerは、ベースイメージ `scratch` でdeployしていたため、証明書が含まれていなかった。


## 対応
“`Dockerfile
FROM alpine:latest
RUN apk –no-cache add ca-certificates
“`

イメージはalpineでなくても証明書を

【AWS】Lambda + API Gateway + DynamoDBで酒豪判定アプリを開発してみる【前編】

## はじめに

叡智に富んだ読者の皆様、御機嫌よう。
フルスタックエンジニアにメガ進化したいすぎちゃんです！

ぶっちゃけ、リアルすぎちゃんの懐事情は険しくなってきつつありますw（仕事しろ）

そんな爪に火を灯すような生活を送る中でWeb開発を試みると、
どうしてもコスパとタイパを気にせざるを得ません。

先月、AWSの[Aurora Serverless](https://aws.amazon.com/jp/rds/aurora/serverless/)をDBとしてポートフォリオを作ろうと試みたのですが、何もしなくても月に2500円もぶっ飛んじゃうので泣く泣く閉鎖することになりました 😥 （お金に余裕があればまた公開するかも）

https://aws.amazon.com/jp/rds/aurora/serverless/

さて、今回の記事ではコスパとタイパの両立ができる**サーバレスアーキテクチャ**を元にアプリケーションの作り方をレクチャーしたいと思います！

:::note info
**「サーバレス」とは**
サーバー周りの構築・運用を一切気にする必要がな

【合格体験記】AWS Certified Data Engineer – Associate(DEA)

## はじめに
先日、AWS Certified Data Engineer – Associateに合格しました。
こちらの記事では、合格までの勉強法や試験のポイントをお伝えできればと思います。

## AWS Certified Data Engineer – Associateとは
公式によると以下の説明があります。
> AWS Certified Data Engineer – Associate は、コアデータ関連の AWS サービスに関するスキルと知識や、データの取り込みと変換、プログラミングの概念を適用しながらのデータパイプラインのオーケストレート、データモデルの設計、データライフサイクルの管理、データ品質の確保といった能力を検証します。

また、以下のAWSの知識を有している必要ありと試験ガイドに記載がありました。
>- AWS サービスを使用して、この試験ガイドの「はじめに」セクションに記載 されているタスクを実行する方法
>- データパイプラインの一部であるすべてのデータの暗号化、ガバナンス、保護、ログ記録のための AWS サービスについての理解
>- AWS

【AWS】Amazon Bedrock Knowledge BasesでRAG実装

## RAGとは
　2020年に発表された「Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks」では、事前学習済みパラメトリックメモリ(事前学習済みLLM)に非パラメトリックメモリ(ナレッジ)を用いてfine-tuningを行い、特定知識への適用を行っていました。現代では、LLMが進化し、プロンプトへ知識を追加するだけである程度特定知識へのアクセスを実現するため、多くのRAGシステムでは高度な検索後の知識をプロンプトへ追加することで、ドメイン知識の回答を生成している。

https://arxiv.org/pdf/2005.11401

論文要旨の日本語訳
>私たちは、言語生成のための retrieval-augmented generation (RAG) – 事前学習済みパラメトリックメモリと非パラメトリックメモリを組み合わせたモデル – 向けの汎用的な fine-tuning の手法を探求しました。私たちは、パラメトリックメモリが事前学習済みseq2seqモデル、非パラメトリックメモリが事前学習済みニ

App RunnerからCognitoへ接続時にタイムアウトエラーが発生

# App RunnerからCognitoへ接続する際にタイムアウトが発生し少し時間がかかってしまったので整理

# 前提
– App Runnerの構築とCognitoのユーザープールおよびIDトークンを用いた検証の実装などは済んでいる状態
– App RunnerはVPC Connectorを利用してVPC内のリソースに接続している
App RunnerのVPC Connectorなど参考になる記事
https://dev.classmethod.jp/articles/introduction-2024-aws-app-runner/

# つまずいたところ
#### App RunnerからCognitoのリクエストでタイムアウト

#### 原因：ネットワーク

– App Runnerはデフォルトではインターネット経由で外部にアクセス
– ただし、VPC Connectorを利用すると、VPCネットワークに接続してプライベートにアクセスになる
– CognitoはVPCの外にあるので、VPC Connecotr利用する場合App Runnerから接続できない状態になってい

[AWS #27] Amazon Rekognition

## はじめに
こんにちは
今回はAI/ML分野である **「Amazon Rekognition」** について紹介したいと思います。
:robot: AWSには非常に多くの**AI**(Artificial Intelligence → **人工知能**)、**ML**(Machine Learning、**機械学習**)サービスがあります。

## Amazon Rekognition
:upside_down: **Amazon Rekognition**とは、AWSが提供する**画像分析**についてのマネージドな**機械学習サービス**となっています。

多くのサービスは用意されたAPIにリクエストするだけで使用できるの

Serverless Frameworkの簡単なキャッチアップ

# Serverless Frameworkをさっくりまとめると

– AWSリソースをコードベースで管理、開発・デプロイするためのもの
– デプロイコマンド実行 → CloudFormationにテンプレート作成 → 必要リソースの作成
– Terraformと比べて、**FaaS(Function as a Service)** レベルのリソースの管理に適している
– API Gateway
– Lambda
– DynamoDB

# サーバレスとは

**サーバーのリソースを意識しない（サーバーの管理・運用が不要）という意味でサーバーレス**

– 最も大きな意味合いとしては物理的なサーバーを用意する必要がないという意味
– 実態としてはサーバーの運用・管理がないというところまで含まれる

## メリット

– 物理的なサーバーを用意するための諸コストの削減
– 提供されているリソースそのものの管理責任はベンダーにあること
– あくまでリソースのセキュリティ・ソフトウェアバージョン……etcというところに限る
– 負荷に対して柔軟に

Amplify ラジオ レポート 2024/10/15

## はじめに
2024年10月15日に[Amplify Japan User Group](https://aws-amplify-jp.github.io)の[Discord](https://discord.gg/jh6ey5Vz)にてAmplify ラジオを開催しました。

今回は[Amplify AI](https://github.com/aws-amplify/amplify-ui/issues/5773)など機能キャッチアップと[@fossamagna](https://x.com/fossamagna)さんが開発した[amplify-data-migration](https://github.com/purpom-media-lab/amplify-data-migration/blob/main/README.ja.md)をDeepDiveする**深〜い回**でした。

本記事はレポートという形で、簡単ですが内容をまとめています。

:::note warn
お詫び
エラーで画面共有もできず、グダッてしまい申し訳なかったです。
:::

## Amplify

ECS Web ApplicationハンズオンをAWS CDKを使って実施 1 〜EC2へのデプロイ

AWS workshop studioのECS Web Applicationハンズオンを題材に、AWS CDKに入門してみています。

https://catalog.workshops.aws/ecs-web-application-handson/ja-JP

## 背景

普段の業務では、アプリケーションの運用にEKSを使っています。

最近新規事業の立ち上げを行なっており、プロトタイプをデモするための環境としてECSを使い始めてみました。

今は手運用に頼ってしまっており、完全にリソース管理が属人化してしまっているのが課題です。
そこでAWS CDKを使ってリソース管理を行えるようにしていくため、CDKに入門してみました。

AWS CDK Patternsは使わずに実施しています。

https://cdkpatterns.com/

## 環境

– Macbook Air (CPUはM3)
これがなぜ書く必要があるのかは後述

– Typescript

## EC2のデプロイまで

まずは「3.5. EC2 へのデプロイ」までが動くようになったのがこちら。（ちょっとま

AWS の外の Kubernetes から Private ECR のイメージを取得する

どこのご家庭でもあるあるだと思いますが、ご自宅の Kubernetes を運用していて、証明書とか取るの大変だしイメージレジストリを自分で建てるのは億劫…イメージだけは AWS Private ECR に置いておきたい、そんな思いは日常茶飯事だと思います。
ここでは Kubernetes v1.26 で stable になった [kubelet image credential provider](https://kubernetes.io/docs/tasks/administer-cluster/kubelet-credential-provider/) を利用して AWS Private ECR からイメージを取得する方法を説明します。
たぶん10分くらいの作業時間で設定できると思います。

# 忙しい人向けのスクリプト

microk8s を利用している前提のスクリプトです。
細かい事は後で説明しているので、参考にして修正して使って下さいね。

“`sh
# credential-provider-config.yaml の設置
cat << EOF > credential

【ざっくりまとめ】AWS 中国ゲートウェイについて簡単にまとめてみた

:::note info
AWS公式ホームページなどをもとに調べた情報となります。
また、AWS 中国ゲートウェイを利用するには中国当局への届け出など特殊対応が必要とのことです。

※現時点で企業向けのみにアカウントを提供しているので、個人利用は不可とのことでした。
:::

# まえおき

AWSに関する技術トピックをキャッチアップするために公式サイトを覗いていると、**中国ゲートウェイ**に関するトピックが目に入ったので、自身の備忘のために簡単にまとめました。

**中国ゲートウェイ**について少しでも興味関心のある方に役立てていただければ幸いです。

## 中国ゲートウェイとは？
すごくざっくり言えば、「中国に現地法人がある企業向けのAWSアカウントサービス」とのことです。概要については、AWS公式ホームページに概要動画が掲載されているのでご確認ください。

※動画は中国語のためわかりづらいですが、パワポ資料が投影されているためなんとなくイメージはつくかと思います。

## なんで中国用に分かれているのか

AWSサイト以外でもググってみましたが、「中国独自のIT基準にのっとった

EC2インスタンスタイプの種類(シリーズ)を理解しよう

# はじめに


インスタンスタイプの命名は大きくインスタンスファミ

MLS合格日記

# はじめに
私はAWSを使い始めて今年で約2年半になります。
文系出身の元新卒エンジニアです!
新卒からの2年間で、Cloud Practitioner, SysOps,DVA,SAA,SCSを取得してきました。
前回初めのspecialtyに挑戦し合格したので、今回はMLSを受験することにしました。

# MLSとは
AWS Certified Machine Learning – Specialtyとは
>組織がクラウドイニシアチブを実装するための重要なスキルを持つ人材を特定して育成するのに役立ちます。AWS Certified Machine Learning – Specialty を取得すると、AWS で機械学習 (ML) モデルの構築、トレーニング、チューニングおよびデプロイに関する専門知識を認定します。

https://aws.amazon.com/jp/certification/certified-machine-learning-specialty/

機械学習や最近はやりのAIについて問われました。
受験料は300 USDです。
時間は170 分で、65問出題

Amazon CloudWatchについて

## Amazon CloudWatchとは
定期的にAWSリソースの状態を取得し、しきい値（境界値）を超える・下回るなどした場合に運用者に通知するサービスです。

## CloudWatch Metrics
CloudWatchが監視する様々なリソースの情報は「メトリクス」と呼ばれます。EC2インスタンスのCPU使用率やLambda関数ごとのエラー回数、ディスクの使用状況（読み取り・書き込みの量）など、AWSにあらかじめ定義されているメトリクスを標準メトリクスと呼びます。一方、利用者が定義した値をCloudWatchに渡すことで独自のメトリクスを作成することもできカスタムメトリクスと呼びます。
## CloudWatch Alarm
CloudWatch Alarmでは、設定したメトリクスに基づいてアラームを定義することができます。アラームの条件を満たした場合にAmazon Simple Notification Service (SNS)と連携して通知を送信したりLabmda関数を呼び出したりできます。

## CloudWatch Logs
CloudWatch LogsはAWS

UTC表記のわかりにくさを分解し、迷わないようにする。

# わかりにくいですよね。
awsのログを見ているときなどに出てくるこれ。
### 6:11 (UTC+09:00)
最初わからなくないでしょうか？UX悪くないですか？

・UTCだと+9必要で、15時なのか、
・これは、UTC表記ですでに＋9済なのか。
・これは、JST表記で、UTCからすでに9時間足された値なのか
・これは、プラス９しないと、JSTにならない。

つまり以下のどれでしょう？
・日本時間06:11で標準時が15:11
・日本時間21:11で標準時が06:11
・日本時間06:11で標準時が21:11
・日本時間15:11で標準時が06:11

### 一瞬迷ったあと、これだ、とはなりますが、慣れないうちは、あれ？となるのではないでしょうか。
本qiitaではこれを一撃でわかるようにします。
迷わない人はすみません。
一番下に関連知識があるので、そこだけでも見ていってください。

# 前提になっている知識を分解する

## ①JSTは、UTCプラス9時間で表記されている。
中１の社会で習った知識ですね。
みんなこれは知ってます。これは知ったうえで、何が何にプラスにな

[AWS #26] Amazon MemoryDB for Redis / Neptune

## はじめに
こんにちは
今回はデータベースサービス分野である **「Amazon MemoryDB for Redis」「AWS Neptune」** について紹介したいと思います。
:rolling_eyes: 「Neptune」→ 海王星？ ローマ神話の神様？　ん～？

## Amazon MemoryDB for Redis
:upside_down: **Amazon MemoryDB for Redis** とは、インメモリデータベースサービスで、redisと**互換性**があります。Redisを耐久性のあるプライマリデータベースとして使いたい場合はこのMemoryDB for Redisを使用します。

:::note info
Redisを耐久性のある**プライマリデータベースとして使いたい**場合はMemoryDB fo