AWS関連のことを調べてみた

Amazon Bedrockで文書検索をやってみた（FAISS、LangChain）

## はじめに
Amazon Bedrockで文書検索をやってみました。ベクトル化にはamazon.titan-embed-text-v1モデル、回答生成にはanthropic.claude-v2モデルを使用しました。

## 環境
– Windows11
– Python 3.11.5
– LangChain
– OpenAI
– FAISS
– AWS CLI

## 実装

### 必要なライブラリのインストール

“`terminal
pip install langchain openai python-dotenv faiss-cpu pypdf PyPDF2 tiktoken boto3
“`

### AWS CLIの設定
AWS IAMの「ユーザー」タブに移動して、任意のユーザーを選択または作成します。
「セキュリティ認証情報」タブから、「アクセスキーを作成」を選択します。

![記事投稿用 (4).png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3124507/44dedff3-f

【Athena】重くなってきた読み込みを何とかしたい② パーティション射影を利用してみる

# はじめに
[【Athena】重くなってきたパーティション読み込みを何とかしたい① シンプルに読み込み対象のログを減らしてみた](https://qiita.com/TKY_study/items/969f2a21f73ce598979e)の続きとなります。

# 今回試してみた事：パーティション射影の導入
元のDDLをベースにTBLPROPERTIESを以下のように書き換えて設定を行いました。
パーティションの範囲の関しては`..`が使用でき、例えば`’01,02,03,04’`は`01..04`と書けます。
また「〇〇以降」といった設定法が無さそうでしたので、yearに関しては仮で`2021..2100`としました
設定の結果、数日おきのパーティションロード等であれば数十秒程度で完了出来るようになりました。

“`SQL
CREATE EXTERNAL TABLE `app_prod_rails`(
`date` string COMMENT ‘from deserializer’,
`container_name` string COMMENT ‘from des

【Athena】重くなってきたパーティション読み込みを何とかしたい① シンプルに読み込み対象のログを減らしてみた

# はじめに
度々ログ調査が発生する~~問題児(;´༎ຶД༎ຶ`)~~、ECS on EC2構成にて3年ほど稼働しているとあるRailsアプリケーションについての話となります
# 問題
ログがたまり続けることで`MSCK REPAIR TABLE`の実行が日に日に遅くなってきており、ついに読み込みの完了まで1時間以上かかる状態となってしまいました。
基本的にログ調査というと直近のログが対象となる事が多い状況でしたので、調査開始が遅れてしまいます。

# 今回試してみた事：シンプルに読み込み対象のログを減らしてみた
現状の構成を確認したところ以下のようになっており、稼働初期からの全ログが読み込み対象となっていました。

“`SQL
CREATE EXTERNAL TABLE `app_prod_rails`(
`date` string COMMENT ‘from deserializer’,
`container_name` string COMMENT ‘from deserializer’,
`source` string COMMENT ‘from deseri

VM-Importのやり方まとめ【#Cloud Beginner】

# はじめに
今度使用するソフトウェアをみんなでつっついて検証したい。そんな時に便利なVM-Import/ExportについてIT初学者向けに解説します。
私自身初めて持つ専門領域としてクラウド領域を扱っており、初学者の視点でみなさんのAWSライフを少しでも快適なものにできればと思っています！

# VM-Importの下準備
必要なものは下記になります！

①S3に入ったVMDKファイル

VM Importしたい仮想マシンのイメージをS3に格納して用意しましょう

②VM Importが使うためのIAMロール

VM Importに権限を渡してあげます！

③VMDKファイルのディスク構成を記述したJSONファイル

JSONファイルで場所の所在とディスク構成を書いてあげます。

# VM-Import実践編
### ①CLIを使えるようにする
下記URLからAWS CLIをダウンロードしましょう

AWS Certified Security – Specialty試験 (SCS-C02)を受けてみた

## はじめに
AWS Certified Security – Specialty試験 (SCS-C02)を受験し、合格出来ましたのでその際の雑記となります

## これまでのAWS認定受験歴など
春先までの12冠を目指しており、今回で8個目のチャレンジとなります
~~クリスマスプレゼント🎁~~

## 今回の試験結果
不安な問題も有ったが、恐らく合格しているのでは…?といった手ごたえであり、概ね予想通りの結果となっていました🍀

## 学習法など
– 学習時間・期間
– 約3週間、

【裏技】Lambda の固定IP化にまだ NatGateway 使ってるの？

2023/12/25 … 【追記】アリ

# 背景
顔のイボやイボ痔を治療中で、年内に X のフォロワー1000人を目指している [@\_\_\_nix___](https://twitter.com/___nix___) です。

以前から大人気の Lambda ですが、APIのコンピューティング部分で使うことも一般的になっています。
例えば外部決済システムとやり取りをするような場合に決済システム側から「接続元IPを制限しているのでGWのIPをご連絡ください」と言われるケースが少なくありません。

こんな時に今までは当たり前のようにやってきたやり方、実はそれ以外にも方法があったのでご紹介したいと思います。

# 現状
はい、この構成が Lambda を固定IP化する最も有名な方法です。
Lambda を VPC 内に配置し、（お高い）NatGateway 経由でアクセスすることで接続元IPを固定にする方法です。

ただ、

2023年末のElixirが出来ること⑧クラウドライブラリ編（最新Elixirのキャッチアップと、アドカレのネタ探しに読んでください）

この記事は、[Elixir Advent Calendar 2023 シリーズ14](https://qiita.com/advent-calendar/2023/elixir) の21日目です

【本コラムは、5分で読めます】　※各ライブラリをお試しいただく場合は各自次第で

[piacere](https://twitter.com/piacere_ex) です、ご覧いただいてありがとございます :bow:

2023年末の時点で、Elixirにいったい何が出来るのかを紐解いていくシリーズで、[前回は「⑦ Livebook＋プラグイン編」](https://qiita.com/piacerex/items/bcdcb7bc6c998335a406)でしたが、今回は「⑧ クラウドライブラリ編」です

:::note warn
[① 2023年の新たなライブラリ／FW編](https://qiita.com/piacerex/items/774dd91c67184bec6df1)
[② 2023年に更新されたライブラリ／FW編](https://qiita.com/piacerex/i

Amazon BedrockをCloud9のJavaから呼び出してみた

# はじめに
みなさん、こんにちは。2023年9月末に「Amazon Bedrock」が一般提供されました。
多くの方が、PythonからAmazon BedrockのAPIを呼び出したりしていると思います。
今回は、JavaからAmazon BedrockのAPIを呼んでみましたので手順を紹介します。

なお、本記事ではCloud9やAWS SDK for Javaの詳細なセットアップの説明は割愛します。

# Cloud9を準備する
Javaの拡張機能を有効にするには、2 GiB以上のメモリが必要[^1]なため、インスタンスタイプは m5.large を選択しました。
プラットフォームはAmazon Linux2で作成しました。

[^1]: https://docs.aws.amazon.com/ja_jp/cloud9/latest/user-guide/enhanced-java.html

# AWS SDK for Javaを準備する
[Cloud9のユーザーガイド]に従って、Cloud9でAWS SDK for Javaを使用できるようにします。
今回は

AWSの生成AI最新機能ハンズオン！BedrockのKnowledge BaseとAgentsに入門しよう

# この記事について

2024年1月31日、以下のオフライン勉強会にてAmazon Bedrockの最新機能ハンズオンを予定しています。

https://studyco.connpass.com/event/305299/

こちらは都内での開催となるため、遠方のかたもハンズオンを実施できるよう、先行してハンズオン手順をこの記事にて公開させていただきます。（当日参加予定の方は、同じ内容をイベント内で実施する予定ですのでご留意のうえ読んでいただければと思います）

:::note warn
本ハンズオンの実施にあたり、多少の課金が発生することをご了承ください。実施後には忘れず不要なリソースの削除をお願いします。

なお、Bedrockのモデル呼び出し料金は一部マーケットプレイス扱いとなるため、AWSクレジット（クーポン）の適用範囲外となるものがあります。
:::

こちらを実際に試されてみて、もし上手く動かない点やお気づきの点などあればコメント欄やTwitter（[minorun365](https://twitter.com/minorun365)）にてフィードバックくださいますと

【AWS】業務で触れた「Amazon Rekognition」サービスを使った画像分析システム

業務で触れた画像分析の復習の意味も込めて、今回の記事の内容として決めさせていただきました。
# アジェンダ
– [Amazon Rekognitionとは？](https://qiita.com/drafts/47b0ea609e9e5fa66470/edit#amazon-rekognition%E3%81%A8%E3%81%AF)
– [使用サービス](https://qiita.com/drafts/47b0ea609e9e5fa66470/edit#%E4%BD%BF%E7%94%A8%E3%82%B5%E3%83%BC%E3%83%93%E3%82%B9)
– [全体像](https://qiita.com/drafts/47b0ea609e9e5fa66470/edit#%E3%82%A2%E3%83%BC%E3%82%AD%E3%83%86%E3%82%AF%E3%83%81%E3%83%A3)
– [実装](https://qiita.com/drafts/47b0ea609e9e5fa66470/edit#%E5%AE%9F%E8%A3%85)
– [最後に](htt

AWS for Games 2023年の活動を振り返って

こちらは [AWS for Games Advent Calendar 2023](https://qiita.com/advent-calendar/2023/aws-for-games) の 25 日目の記事です。

AWS for Games Advent Calendar 2023 の最終日の記事ということで、この1年の AWS for Games に関しての日本での活動を振り返り、どのようなことをやっていたのかをまとめていきたいと思います。。

# builders.flash 記事作成

AWSが提供しているディベロッパー向けのWebマガジン「[builders.flash](https://aws.amazon.com/jp/builders-flash/)」をご存知でしょうか？

AWSのさまざまなメンバーが開発者向けの技術記事を投稿するブログとなっています。

AWS for Games でもゲームに関する記事を定期的に掲載していました。

2023年はゲームを題材に以下のような内容で10件の記事を投稿いたしました。

* 2023年1月 [魔法で作る Amazon

EC2(amazon linux 2023)でのGalera Cluster利用

この記事は、ケーシーエスキャロット [Advent Calendar 2023](https://qiita.com/advent-calendar/2023/kcscarrot)の24日目の記事です。:champagne:

# 最初に

業務にてGalera ClusterによるDB同期に携わる機会があり、
簡単に実験できる環境をと思い、環境構築してみる事にしました。
※ その際の手順を備忘録としてまとめました。

# MariaDB Galera Clusterとは

MariaDBを同期する為のマルチマスタークラスターです。
Linuxのみで利用可能で、XtraDB/InnoDbエンジンでサポートされています。

簡単に言えば、
複数のMariaDBサーバーをマルチマスターモードで情報を同期してくれる優れものです。

詳しくは以下公式サイト参照ください。

https://mariadb.com/kb/en/galera-cluster/

# AWS構築環境

今回、「Amazon Linux 2023」でEC2インスタンスを2つ用意して、
それぞれにMariaDB/Gale

新機能！Amazon Aurora Limitless Database とは

:::note warn
本記事で言及している Amazon Aurora Limitless Database は 2023/12/25 時点で Preview の機能です。運用環境での使用は推奨されません。また将来的に動作や仕様が変更される可能性があります。
:::

# はじめに
AWS re:Invent 2023で発表されたAuroraの新機能「Amazon Aurora Limitless Database 」を使う側の目線でご紹介します。

[color is【クラウドLT大会vol.6】大型アップデート祭り](https://saison-coloris.connpass.com/event/303486/)で発表したセッションの内容に、時間の関係で話せなかった内容を加えて記事化したものです。

セッション資料

# Amazon Auroraとは？
– AWSが開発した独自のRDBエンジンで

AWS Service Catalog製品をcdk-nagで静的解析する～図解付き～

# はじめに

私は社内向けプラットフォームチームに所属しており、AWS Service Catalog × CDK でセルフサービス型機能の構築・運用を行っています。以下記事を過去に執筆しました。

https://qiita.com/y_matsuo_/items/058a26e18c0e50226d07

> 

上記では、CDK の実装ノウハウが中心で、開発フローや少々複雑な ProductStack（L2Construct）の仕様などには触れていませんでした。また、Service Catalog 製品のテストコードを例示していましたが、cdk-nag を適用できない方式でした。

そこで、本記事では以下をご紹介します。

– なぜ Service Catalog 製品に cdk-nag を適用するのか

AWS Secrets Managerを使って本気でAWSアカウントを守る

# はじめに
この記事はDevOps on AWS大全の一部です。
DevOps on AWS大全の一覧は[こちら](https://qiita.com/tech4anyone/items/b06f88035d27c6ef13b2)。

この記事ではAWS Secrets Managerに関連する内容を超詳細にまとめています。

具体的には以下流れで説明します。

– AWS Secrets Managerとは
– AWS Secrets Managerの仕組み
– AWS Secrets Managerの活用
– AWS Secrets Managerのベストプラクティス

AWSの区分でいう「Level 200：トピックの入門知識を持っていることを前提に、ベストプラクティス、サービス機能を解説するレベル」の内容です。

# この記事を読んでほしい人
– AWS Secrets Managerがどういうサービスか説明できるようになりたい人
– AWS Secrets Managerを採用するときのベストプラクティスを説明できるようになりたい人
– AWS Certified DevO

Pulumi を試す

pulumi を試してみた

# 準備

“`compose.yml
version: ‘3’
services:
pulumi:
image: pulumi/pulumi:3.99.0
env_file: .env
volumes:
– .:/app
– .pulumi:/root/.pulumi
– .aws:/root/.aws
“`

“`
$ cat .gitignore
*
!/.env.sample
!/compose.yml
!/.dockerignore
$ cat .dockerignore
*
“`

“`shell-session
$ docker compose run –rm pulumi version
$ docker compose run –rm –entrypoint bash pulumi
> pulumi version
( 起動時間が気になるならコンテナ上げた方がいい
“`

### NOTE

– `~/.pulumi` を Linux 以外(Mac など)

AWS SSMのSession Manager機能の利用と接続パターン

# はじめに
AWS Systems Manager(SSM)内の機能の1つであるSessionManagerを利用した
EC2インスタンスへの接続を使用する機会があったので、
検証がてら導入手順や接続パターンを記事としてまとめてみました。

https://docs.aws.amazon.com/ja_jp/systems-manager/latest/userguide/session-manager.html

元々SessionManagerを介してWebコンソールまたはAWS CLIでEC2インスタンスへアクセスすることで、
インターネット側へSSHポートを開けることなくアクセスすることが可能でした。
また、接続元PCの任意のローカルポートとEC2インスタンス側のSSHポートでセッションを張ることで、
TeraTerm等のSSHクライアントやWinSCP等のファイル転送ソフトを簡単に利用することが可能です。

加えて2022年11月にポートフォワーディングの機能が追加され、
SSMAgentを導入できないEC2インスタンスやRDS等のサービスに対して、
SSMAgent導入済

AWS Jr.Championsになったこれまでを振り返る

# はじめに
この記事は私がJr.Championsになってからの８か月間の活動を振り返るものです。

AWS Jr.Champions とは
> AWS Partner Network (APN) 参加企業に所属し、現在社会人歴 1 ～ 3 年目で AWS を積極的に学び、アクションを起こし、周囲に影響を与えている APN 若手エンジニアを選出しコミュニティを形成する、日本独自の表彰プログラムです。

参考：[2023 Japan AWS Jr. Champions の発表
](https://aws.amazon.com/jp/blogs/psa/2023-japan-aws-jr-champions/)

# 自身について
・某SIer企業に所属
・社会人２年目
# 活動の履歴
### 1. DeepRacer部を

AWS CodeDeploy Agentを入れようとしたらAmazon Kinesis Agentが起動しなくなった話

## はじめに
この投稿は[アイスタイル Advent Calendar 2023](https://qiita.com/advent-calendar/2023/istyle) の25日目の記事です。
この投稿ではAWS CodeDeploy Agentを入れようとしたらAmazon Kinesis Agentが起動しなくなった話をしたいと思います。

## AWS CodeDeploy Agentとは
> AWS CodeDeploy エージェントソフトウェアパッケージをインスタンスにインストールして設定すると、そのインスタンスを CodeDeploy デプロイで使用できるようになります。

※AWSの[公式](https://docs.aws.amazon.com/ja_jp/codedeploy/latest/userguide/codedeploy-agent.html)から拝借
EC2インスタンスに対してデプロイするために必要となっていくるパッケージです。

## Amazon Kinesis Agentとは
> Kinesis エージェントはスタンドアロンの Java ソ

EBSのサイズ拡張 Amazon Linux 2023版

🎅🦌こちらは ZYYX Advent Calendar 2023/12/25の記事です。✨🎄✨

# 概要
少し前に、Amazon Linux 2023のEBSのサイズ拡張をやったのでそれの備忘録です。
ざっくりの流れ。

– バックアップ取得（AWSコンソール画面で実施）
– EBSのサイズ拡張（AWSコンソール画面で実施）
– パーティション拡張（SSHでターミナルに入って実施）
– ファイルシステムを拡張（SSHでターミナルに入って実施）

# 手順
### バックアップ取得
面倒ですが忘れずに最初にバックアップ（スナップショット）をとっておきます。
AWSコンソールのEC2＞スナップショット画面にて、スナップショットを作成を押下し、
・リソースタイプ：ボリューム
・ボリューム ID：対象のボリュームを選択
で作成。

### EBSのサイズ拡張
AWSコンソールのEC2＞ボリューム画面にて、対象ボリュームを選択した状態で、「アクション＞ボリュームの変更」を押下します。
ボリュームの変更画面上で、増やしたいボリュームサイズに変えて「変更」を押下します。（減らすことはできません）