AWS関連のことを調べてみた

external-dns + AWS Route53でKubernetesリソースからDNSレコードを自動生成する

Kubernetesでアプリケーションを運用していると、Service や Ingress に紐づくDNSレコードの管理が必要になります。このDNSレコードの作成・更新・削除を自動化できれば、運用の手間を大幅に削減できます。

本記事では、KubernetesリソースからAWS Route53のDNSレコードを自動的に作成・管理するための「external-dns」の使い方を解説します。

レコードの管理を自動化するには、Crossplaneなども選択肢に入りますが、これはクラウドベンダーごとにコンポジションというマッピングルールを作らないといけませんが、external-dnsを使うと、AWS Route53だけでなく様々なネームサーバーに統一的な方法で対応できるので、様々なネームサーバーに対応したいときにはかなり便利です。

## 前提条件

– Kubernetesクラスターがセットアップされていること
– 必要なコマンドツールがインストールされていること
– kubectl
– helm
– aws
– dig

## external-dnsと

AWSのEC2環境でのDifyアップグレード手順

# はじめに

Difyって、頻繁にアップデートが行われますね！都度魅力的な機能が加わりますので、毎回ワクワクしちゃいます。ここでは、Amazon Linux 2環境にインストールされたDifyをアップグレードする手順を示します。このガイドは、以下の記事でご紹介したインストール手順に従ってDifyを導入された方向けです。（他の環境に入れられた方も参考になると思います）

https://qiita.com/daishiro_jp/items/3d679131bbd48882a250

# 事前準備

アップグレードを始める前に、以下の点を確認してください

1. 現在のデータのバックアップを取得していること
2. 十分なディスク容量があること
3. メンテナンス時間を確保していること
4. ローカルでの変更内容を把握していること（特にdocker-compose.yamlの修正）

# アップグレード手順（Docker Compose環境）

### 1. ローカルの変更確認

まず、現在の環境での変更状況を確認します。

“`bash
$ cd ~/dify
$ git statu

Terraform勉強-第31回：SQSをトリガーにしてLambda関数を実行し、CloudWatchでログを確認する

githubリポジトリ：”https://github.com/shu130/terraform-study31.git”

## SQSキューとLambda関数を連携させ、メッセージの処理やログの管理を行う仕組みをTerraformで構築する

“`bash
.
├── provider.tf
├── sqs.tf
├── lambda.tf
├── sqs_message_batch_send.sh
├── src
│ └── lambda_function.py
├── terraform.tfvars
└── variables.tf
“`

## 1. `provider.tf`ファイル

今回は`provider.tf`のなかで**AWSアカウントID**を動的に取得する

“`hcl:./provider.tf
# terraformとawsプロバイダのバージョン
terraform {
required_version = “>= 1.6.2, < 2.0" required_providers { aws = { sou

AWS CDK のキホン

# AWS CDK とは

## 概要
AWS Cloud Development Kit (AWS CDK) は、コードでクラウド インフラストラクチャを定義し、AWS CloudFormation を通じてプロビジョニングするためのオープンソースのソフトウェア開発フレームワークです。

AWS CDK は、2 つの主要な部分で構成されています。

■AWS CDK コンストラクト ライブラリ
コンストラクトと呼ばれる、事前に記述されたモジュール式で再利用可能なコードのコレクション。これを使用して、変更し、統合することで、インフラストラクチャを迅速に開発できます。AWS CDK コンストラクト ライブラリの目的は、AWS でアプリケーションを構築するときに、AWS サービスの定義と統合に必要な複雑さを軽減することです。

■AWS CDK Command Line Interface (AWS CDK CLI)
CDK アプリを操作するためのコマンドライン ツールです。CDK CLI を使用して、AWS CDK プロジェクトを作成、管理、およびデプロイします。

※公式から抜粋（翻

【AWS SDK】SdkClientException(例外)対策…リトライ処理を記述しよう【Java】

# 背景（はじめに）
　AWS SDK for Java 2.xのAPIを呼び出しているプログラム内で、SdkClientException（例外）が不定期に発生していました。そのプログラム内ではSdkClientExceptionを想定してなかったため、発生するとプログラムが異常終了していたようです。
　本記事に、簡単にですが説明と実施した対策を残します。

:warning: **こちらは社内に2022年8月頃に公開したメモです。**

## SdkClientExceptionって何？
[SdkClientException](https://docs.aws.amazon.com/ja_jp/sdk-for-java/latest/developer-guide/handling-exceptions.html#sdkclientexception)
> SdkClientException は、AWS にリクエストを送信しようとしたとき、または AWS からの応答を解析しようとしたときに、Java クライアントコード内で問題が発生したことを示しています。SdkClientEx

[AWS SAA] AWS初心者のElastic Beanstalkまとめ

# AWS Elastic Beanstalkとは
Webアプリの環境を自動で構成してくれるマネージドサービス

## どのようなことをしてくれる？
– 各種リソースの配置
– アプリケーションの導入
– バージョン管理
– 負荷分散

## メリット
1. 迅速なデプロイが可能
迅速なアプリケーションの使用が可能

2. 生産性の向上
インフラ準備、負荷分散、モニタリングなどを代わりにしてくれるので、エンジニアは重要な部分の開発に時間を使うことができ、生産性の向上につながる

3. Auto Scalingによるコスト管理
コスト管理と安定した稼働を実現

## デプロイポリシー
### All at Once
バージョン変更時に、すべてのインスタンスのアプリケーションを同時に新しいバージョンへ変えることができる

### Rolling
指定したインスタンスのアプリケーションを新しいバージョンに変えて、問題がなければ全てのインスタンスのアプリケーションを変更する

## 学習元引用

AWS学習のまとめ

## はじめ
AWS認定ソリューションアーキテクトを目指して学習メモを纏めました。この資格は、AWSの主要サービスや設計のベストプラクティスについて深い知識を必要とし、クラウドアーキテクチャを構築、管理するためのスキルを証明します。

## 各分野の学習メモ

### 1. EC2（Elastic Compute Cloud）

EC2は、オンデマンドで計算リソースを提供するサービスです。インスタンスタイプやスケーリングオプション、Auto Scalingについて理解することが重要です。

1. インスタンスタイプ
EC2インスタンスには、用途や負荷に応じて「汎用」「コンピューティング最適化」「メモリ最適化」「ストレージ最適化」「アクセラレータ最適化」などのインスタンスタイプが用意されています。試験では、具体的なユースケースに合わせた適切なインスタンスタイプを選べることが求められます。

1. 料金オプション
EC2は「オンデマンド」「リザーブドインスタンス」「スポットインスタンス」「セービングプラン」などの料金オプションがあります。各オプションの特徴を理解し、コスト管理の観点から適切

Glue JobでRedshift Serverlessにインサートする

# はじめに
本記事は ↓ の続きです。
前回記事では、GlueとRedshift Serverlessが接続できる状況まで確認しました。

https://qiita.com/tamabe/items/ba8c0ec56f377aeeb908

ここから、Glue JobでRedshift Serverlessのテーブルにデータ書き込みする流れを整理していきます。
（前回記事で紹介したリソースは構築済み前提で進めていきます）

# この記事でわかること
– [RedshiftServerlessにインサートするGlueJobの設定内容](#設定の更新)
– [RedshiftServerlessにインサートするスクリプトの記述内容](#スクリプト内容)

# 構成図
Glue JobでRedshift Serverlessにデータをインサートするための構成を図にしています。
（前回記事から **生データ保管用S3** , **GlueJobスクリプト格納用S3** を追加）
![Qiitaブログ用-Glue JobでRedshift Serverlessにインサートする.p

【アップデート】AWS Transfer Family SFTP コネクタ は、ファイル転送操作のステータスをリアルタイムで表示するようになりました。

# はじめに
こんにちは。株式会社ジールの[@yakisobapan](https://qiita.com/yakisobapan)です。

AWS Transfer Familyにて、**ファイル転送操作のステータスをリアルタイムで確認**できるようになりましたので、試してみました！

# 目次
– アップデート内容
– やってみた
– 所感

# アップデート内容
AWS Transfer Family は、SFTP コネクタを使用して開始されたファイル転送のステータスをリアルタイムで表示するようになりました。
この機能により、ファイル転送操作の現在の状態を簡単に監視し、転送後のアクションを調整して、AWS のマネージドファイル転送 (MFT) ワークフローを自動化できます。

SFTP コネクタは、リモート SFTP サーバーと Amazon S3 間でファイルを転送するためのフルマネージド型ローコード機能を提供します。これで、どのファイル転送が完了したか、進行中、キューに入っているか、失敗したかなど、ファイル転送操作のステータスをオンデマンドでクエリできるようになりました

AWSのAmazon Transcribeを動かしてみる

:::note warn
この記事は2024年5月2日に弊社ブログにて公開されたものを移植したものです。
古い情報が含まれている可能性がありますのでご注意ください。
:::

本記事ではAmazon Transcribeを、GoogleColaboratoryで実行してみます。さらに、カスタムボキャブラリーを適用して動かします。Amazon TranscribeのAPIをPythonで叩いてみたい方や、追加機能を試したい方は是非ご覧ください。

## Amazon Transcribeを始める前に
Amazon Transcribeを利用するにはAWSアカウントが必要です。またAWSには様々なサービスに対して無料利用枠というものが用意されており、一部サービスは一定期間無料で使用できます。Amazon Transcribeも無料利用枠が用意されているのでそちらを利用します。無料利用枠を使い切っている場合は料金がかかってきますのでご注意ください。Amazon Transcribeの料金は[こちら](https://aws.amazon.com/jp/transcribe/pricing/?

AWS FIS (Fault Injection Simulator) でカオスエンジニアリングを感じてみる


# はじめに
仕事で AWS Fault Injection Simulator (FIS) を利用するかもしれないので、さわってみました。
LT 会とか、ハンズオンとかのネタにしたいと思ったので投稿です。

AWS FIS のシナリオライブラリから、「EC2 ストレス：メモリ」をハンズオンしていきます。

# AWS FIS (Fault Injection Simulator)
FISは、AWS Resilience Hub に含まれカオスエンジニアリングを導入するサービスで、ざっくりと言うと、「AWS で擬似的に障害を発生させる耐障害性テスト」のサービスです。
“カオスエンジニアリング” については、詳しく説明してる Qiita があるので、ページ下部の”参考”をご覧ください。
“カオス”と言っても、パッと想像する「混沌、混乱」ではなく

【AWS】いつから私の書いたCodeだと錯覚していた？AWS Console-to-Codeを検証！

## この記事で伝えたいこと

– AWS Console-to-Codeをハンズオンしているよ
– AWS Console-to-Codeの展望や実用に耐えうるかを考察しているよ

## はじめに

この記事では「この前リリースされた機能って実際に動かすとどんな感じなんだろう」とか「もしかしたら内容次第では使えるかも」などAWSサービスの中でも特定の機能にフォーカスして検証していく記事です。主な内容としては実践したときのメモを中心に書きます。（忘れやすいことなど）
誤りなどがあれば書き直していく予定です。

今回はAWS Console-to-Code（以下、AWS CtoC）を検証してみます。

## AWSマネジメントコンソールを操作したらコードが生成されるってさ？

コンソールを操作したらコードが生成されるって？！なんだって？
AWS Console-to-CodeはAWS re:Invent 2023でプレビュー版として発表されたサービスです。

プレビューとして発表されたときのwhats-newとしては以下のとおりです。

[コンソールアクションに対するコードを生成する A

【超入門】Pythonで動くAWS LambdaのHelloWorld API

## はじめに
個人開発始めたての方やAWS、webアプリの勉強してる方向けに、まず挫折しない超シンプルなAPIをAWS環境にPythonで作ってみました。PostmanでHTTPリクエストを送ると’helloworld’が返ってくるというだけのものです。
ぜひ参考になれば。

## インフラ構成
まずさっくりしたインフラ構成図はこちらです。
私はmacを使っていますがPostmanのインストール手順が少し変わるだけで環境差分はほぼないです。
AWSのいいところですね。


## 事前準備
– AWSアカウントを発行済みであること
– Postmanがインストール済であること
⇨DLサイトhttps://www.postman.com/downloads/

## 構築の流れ
次にStep by StepでAPI構築の流れを

【AWS】AWS Wickrについて軽く調べてみた

いつも記事を読んでいただきありがとうございます！
エンジニアのMASAKI([@MASAKIOKUDA-eng](https://github.com/MASAKIOKUDA-eng))です！

今回はAWS Wickrに関して少し調べてみて面白そうだったので、技術メモとしてまとめたものを記事化してみました。軽く読める分量でまとめておりますので、お気軽に読んでいただければ幸いです。

:::note info
本記事はAWSから提供されている**AWS Wickr**に関する技術メモとなります。あくまでAWS公式ドキュメントの内容から抜粋＋個人の意見をまとめたものとなります。

https://docs.aws.amazon.com/wickr/latest/adminguide/what-is-wickr.html

:::

# 目次
1. AWS Wickrとは
1. 利用料金
1. 使い道
1. 操作画面イメージ
1. まとめ

## AWS Wickrとは
公式ドキュメントを読んでみると次のようなことが記載されていました。

>AWS Wickr は、組織や政府を支援するエン

CloudWatch アラームの無効について

# はじめに
Amazon EventBridge を使用して、CloudWatch アラームの状態を一時的に変更した場合の動作を確認したくなった。
EventBridge でアラームの状態を変更しても、本来の状態に戻ると思うが念のため確認する。

# ステップ 1: CloudWatch アラームおよび EventBridge の作成

以下の CloudWatch アラームおよび EventBridge を作成

・閾値が StatusCheckFailed_System が 1 以下だと『アラーム状態』になる CloudWatch アラーム
・以下のように状態を『OK』に変更する Amazon EventBridge

# ステップ 2: EventBridge の実行後の状態

CloudWatch アラームの状態。
Amazon E

[AWS SAA] AWS初心者がEC2についてまとめた。

# はじめに
私は、エンジニア歴二年目の下っ端エンジニアです。
今後のキャリアと収入を考えてAWS資格は持っておくべきだろうと考えたため、AWS SAAについて学習した内容を日々、ここでまとめていきます。
本日はEC2についてです。

# EC2とは
AWSが提供している仮想のサーバを構築できるサービスのことです。
EC2を利用して構築したサーバをインスタンスと呼ぶ。

# EC2のストレージ
EC2にはインスタンスストアとEBSという二つのストレージがあります。

## インスタンスストア
### 特徴
揮発性のストレージで、インスタンスが停止すると保持していたデータが消える。
### 用途
一時的なデータ保存

## EBS
### 特徴
インスタンスを停止してもデータの永続的な保持が可能なストレージ
### 用途
永続的なデータの保持

# EC2の基盤
インスタンスは実際にあるコンピュータ上で動作しており、運用方法にもパターンがある。
## マルチテナンシー
一つのホストコンピュータに複数のアカウントのインスタンスが配置される
## ハードウェア専有インスタンス
一つのホストコ

AWS Glueでビジネスデータの整理整頓！誰でもできるデータ前処理 #AWS


## 一言でいうと
**AWS Glueは、大量のデータを自動で収集・加工し、使いやすい形に整えてくれる便利なサービスです。**


## もう少し詳しく

みなさん、大量のデータを扱うときに「このデータ、どうやって整理しよう…」と悩んだことはありませんか？データがバラバラの形式だったり、必要な情報だけを取り出したいけれど手作業では大変だったりしますよね。そこで活躍するのが**AWS Glue**です。

A

AWS DMS サーバレスレプリケーション

# サーバレスレプリケーション
DMSによるデータベースの移行は、基本的にはレプリケーションインスタンス(DMSが使えるようにした特別なEC2インスタンス)を用いる。(設定については、[AWS Database Migration ServiceのDB移行の設定](https://qiita.com/AkioMotoki/items/ac4f6dc9456c5d90c70e)参照)
この構成とは別に、サーバレス環境が利用でき、従量課金タイプを選択できる。

# サーバレスレプリケーション#1 フルロード+CDC
当記事では、サーバレスの構成方法について、差分移行も含めたデータ移行について説明する。サーバレスレプリケーションの設定では、「移行前検証」がないため、前提条件は、レプリケーションインスタンスの移行前検証等で確認の上、設定されていること想定で、差分のみを記載する。CDCの移行前検証については、[AWS DMS CDC(差分反映構成)](https://qiita.com/AkioMotoki/items/e496f1cf602fe8244587)を参照いただきたい。
## 移行設

AWS Database Migration ServiceのDB移行の設定

# DMS構築
データベース移行ツールのDMSは、DBのデータを含めた移行を自動化するツールです。
構成としては、「レプリケーション・インスタンス」(サーバーインスタンスタイプ)と「サーバレスレプリケーション」(サーバレスタイプ)があります。当記事では、構成がしやすいインスタンスタイプのフルロード(全データ移行)を例に説明します。続編として[AWS DMS CDC(差分反映構成)](https://qiita.com/AkioMotoki/items/e496f1cf602fe8244587)、[AWS DMS サーバレスレプリケーション](https://qiita.com/AkioMotoki/items/e496f1cf602fe8244587)の記事があります。これらの記事では、ソースがOracle、ターゲットがRDS for PostgreSQLの前提で解説します。
当検証で利用した移行用サンプルのDBの構成については、以下の記事をご参照ください。
[テスト用RDS for Oracleの管理と操作](https://qiita.com/AkioMotoki/items/aa

AWS インターフェイスエンドポイントとゲートウェイエンドポイントメモ

**インターフェイスエンドポイント**と**ゲートウェイエンドポイント**は、AWS VPC内から特定のAWSサービスにインターネットを介さずにアクセスするためのVPCエンドポイントの2つの種類です。どちらもAWSリソースへのプライベートアクセスを提供しますが、対応するサービスや接続方法が異なります。

—

### 1. インターフェイスエンドポイント (Interface Endpoint)

**インターフェイスエンドポイント**は、VPC内からAWSサービスに接続するために**ENI（Elastic Network Interface）**を使用するタイプのエンドポイントです。

– **対応サービス**: 多くのAWSサービス（例：Amazon EC2、AWS Systems Manager、Amazon SNS、S3のクロスリージョン複製など）に対応しています。特にAPIを使用するサービスに適しています。
– **動作の仕組み**: サブネットごとにENIが作成され、サービスへの通信がこのENIを介して行われます。
– **セキュリティ制御**: 各ENIにはセキュリテ