- 1. KubernetesとEKSの学習記録 Part 4
- 2. Knowledge base for Amazon Bedrock と LangChainでRAG実装
- 3. Amazon Linux 2 をローカライズする
- 4. Amazon Bedrock の「生成AIによるチャット、画像生成」を Livebook から実行する
- 5. Amazon Bedrock で「生成AIのチャット、画像生成」をブラウザから試す
- 6. Amazon Textract による「画像からの表データ読込」をブラウザから試す
- 7. Amazon Translate による「翻訳」をブラウザから試す
- 8. 【psycopg2】AWS LambdaでPythonを動かすときに、モジュールインポートに失敗する原因についてまとめてみた
- 9. AWS Lambda+EventBridgeを利用した時間起動の自動処理
- 10. 【AWS】Amazon BedrockのKnowledge baseを用いてRAGを行ってみる【生成AI】
- 11. AWS タグで請求金額を絞る
- 12. Sigv4とは何か、そしてその動作方法は何でしょうか。
- 13. 【AWS re:Invent 2023】サステナビリティスタンプラリー完走の景品が大優勝してた
- 14. Amazon Inspectorを利用したコンテナ脆弱性スキャン
- 15. re:Invent 2023に行ってきた①
- 16. Amazon CloudWatch Metricsの超詳細解説
- 17. Cognito による認証で使用されているトークンの話
- 18. ラーメンと私、ときどきAWS
- 19. 毎朝Lambdaで加工した画像をSlackに飛ばす(コスト0)
- 20. AWS Amplify Hosting に Next.js 14 をデプロイする
KubernetesとEKSの学習記録 Part 4
# 概要
仕事でKubernetes(AWSのEKS)を利用する機会が出てきたため学習します。学習ステップとしては以下のようにしてみようと思っています。
1. Kubernetesの基本用語の理解
2. Kubernetes公式チュートリアルやってみる
3. EKSの基本用語理解
4. EKSでサービスを作ってみる今回はステップ4 「EKSでサービスを作ってみる」
この記事はそのメモやまとめです。
すでに設定済みの項目がいくつかある。
試行錯誤しながらやったので、手順として不要かもしれない。**あくまでメモ用。**## 参考ページ
こちらの方の記事を参考にEKSのハンズオンやってみます。https://qiita.com/minorun365/items/0441e4878f0984a9fc0a
作業環境はcloud shellを利用しました。
## 環境準備
kubectlとeksctlをインストールします。
コマンドは参考ページからまるまるコピってます。必要となるkubectlとeksctlのインストールが完了したので、versionを確認します。
“`
Knowledge base for Amazon Bedrock と LangChainでRAG実装
Knowledge base for Amazon BedrockがGAしたので、KendraではなくKnowledge base for Amazon Bedrockを使用したRAGをLangChainを使って実装してみます。
インデックスしてしまえばKendraとほぼ同じ使用感で使用でき、チャンクサイズの自由度が高いのが良いところかなと思います。# 必要ライブラリのアップデート
boto3とLangChainを最新にします。
LangChainを動作確認したバージョンは`0.0.345`です。
“`
pip install -U boto3
pip install -U langchain==0.0.345
“`# Knowledge base の作成
マネコンの`Amazon Bedrock`の`Orchestration`の`Knowledge base`の`Create knowledge base`から作成します。
名前を変えるかどうか程度でわりとデフォルトでいけるのですが、`Set up data source`でドキュメントが格納されたS3を指定します。それ
Amazon Linux 2 をローカライズする
こんにちは、主に、インフラエンジニアの皆さん！今日は、Amazon Linux 2を東京に最適化するための重要な設定について解説します。これらの設定を行うことで、サーバー運用体験を向上させ、ユーザーにとってより快適な環境を提供できます。
### **ホスト名のカスタマイズ**
まずは、ホスト名の変更から始めましょう。これは、サーバーを識別しやすくするための重要なステップです。
– 現在のホスト名の確認
“`bash
hostname
“`– ホスト名の変更
例えば、ホスト名を `my-tokyo-host` に変更したい場合、以下のコマンドを実行します。“`bash
sudo hostnamectl set-hostname my-tokyo-host
“`– 変更の確認
“`bash
hostname
“`### **タイムゾーンの設定**
次に、タイムゾーンを東京に設定します。これにより、ログファイルやスケジュールされたジ
Amazon Bedrock の「生成AIによるチャット、画像生成」を Livebook から実行する
## はじめに
Amazon Bedrock は AWS から各種生成 AI を呼び出し、テキスト生成や画像生成を実行するサービスです
ブラウザからお手軽に試す場合、以下の記事を参考にしてください
https://qiita.com/RyoWakabayashi/private/5680a4bac246a1a0c532
本記事では Elixir の Livebook から Bedrock を使い、生成AIによるチャット、画像生成を実装します
実装したノートブックはこちら
https://github.com/RyoWakabayashi/elixir-learning/blob/main/livebooks/aws/bedrock.livemd
## Livebook とは
Livebook は Elixir のコードをブラウザから実行し、結果を表示してくれるツールです
https://livebook.dev/
Python における Jupyter のようなもので、 Elixir 入門や Elixir を使ったデータ分析、データの視覚化などに適しています
はじ
Amazon Bedrock で「生成AIのチャット、画像生成」をブラウザから試す
## はじめに
AWS は様々な AI サービスを提供しています
そして、それらのサービスはブラウザから簡単に試せるようになっています
https://aws.amazon.com/jp/free/machine-learning/
| サービス | 機能 | お試し記事 | Elixir 実装例 |
|:————|:————————-|:—————-| :—–|
| Transcribe |音声の文字起こし（音声認識）| [参照](https://qiita.com/RyoWakabayashi/private/396e2047d377e258950f) | Coming Soon… |
| Polly |文書の読み上げ（音声合成） | [参照](https://qiita.com/RyoWakabayashi/private/2aad1952f63b4e76b652) | Coming Soon… |
| Lex
Amazon Textract による「画像からの表データ読込」をブラウザから試す
## はじめに
AWS は様々な AI サービスを提供しています
そして、それらのサービスはブラウザから簡単に試せるようになっています
https://aws.amazon.com/jp/free/machine-learning/
| サービス | 機能 | お試し記事 | Elixir 実装例 |
|:————|:————————-|:—————-| :—–|
| Transcribe |音声の文字起こし（音声認識）| [参照](https://qiita.com/RyoWakabayashi/private/396e2047d377e258950f) | Coming Soon… |
| Polly |文書の読み上げ（音声合成） | [参照](https://qiita.com/RyoWakabayashi/private/2aad1952f63b4e76b652) | Coming Soon… |
| Lex
Amazon Translate による「翻訳」をブラウザから試す
## はじめに
AWS は様々な AI サービスを提供しています
そして、それらのサービスはブラウザから簡単に試せるようになっています
https://aws.amazon.com/jp/free/machine-learning/
| サービス | 機能 | お試し記事 | Elixir 実装例 |
|:————|:————————-|:—————-| :—–|
| Transcribe |音声の文字起こし（音声認識）| [参照](https://qiita.com/RyoWakabayashi/private/396e2047d377e258950f) | Coming Soon… |
| Polly |文書の読み上げ（音声合成） | [参照](https://qiita.com/RyoWakabayashi/private/2aad1952f63b4e76b652) | Coming Soon… |
| Lex
【psycopg2】AWS LambdaでPythonを動かすときに、モジュールインポートに失敗する原因についてまとめてみた
# はじめに
AWS LambdaでPythonを用いてコーディングする際に、Lambdaに標準で入っていないモジュールについてはレイヤーを作成して、動くようにする方法がメジャーかなと思います。
一方で、「**（Windows OSの）ローカル上で作成したレイヤーだとインポート時にエラーが出てしまって困っている**」みたいなケースが散見されているなと感じました。特に、よくあるケースとしては、psycopg2のモジュールインポート時において、
“`bash
[ERROR] Runtime.ImportModuleError: Unable to import module ‘lambda_function’: No module named ‘psycopg2._psycopg’
“`
というようなエラーが出てしまうというケースです。私自身、これに頭を悩ませていました。# この記事の目的
この記事では、**上記のエラーが起きる根本の原因であるDLLをざっくり理解し、処理の流れを明らかにすること**を目的としています。
もちろん、実際にLambdaが動くようにするために、具体
AWS Lambda+EventBridgeを利用した時間起動の自動処理
## はじめに
稼働時間外にシステムへアクセスがあったユーザに対して、稼働時間外であることを伝えるページを表示させるため、AWS Lambda+EventBridgeにて自動化してみました。今回のケースに限らず、他の処理自動化にも流用することができると思います。
## 環境
– macOS Sonoma 14.1
– terraform 1.5.2## 目次
– イメージ図
– ELBリスナールールの作成
– Lambdaの設定
– Lambda関数の作成
– iamロールの設定
– EventBridgeの設定
– EventBridgeの作成
– targetの設定
– lambda permissionの設定
– 補足## イメージ図
対象システムにはELBを配置しているため、ELBリスナールールにて稼働時間外メッセージ表示、管理を行います。
# Knowledge baseとは
>Knowledge baseを使用すると、Amazon Bedrock の基盤モデル (FM) を Retrieval Augme
AWS タグで請求金額を絞る
## 概要
AWSのリソースに付与するタグを使ってリソースを絞り請求金額を確認する方法をまとめる
## 前提
請求を管理するAWSアカウントでAWSのコンソールにログインできること。
`Project`や`IsTest`など何かしらのタグが何かしらのリソースに付与されていること。（タグが一切登録されていないと請求をまとめる事ができない。）## 方法
1. AWSコンソールにログインする。
1. 「請求とコスト管理」を開く。
1. 左サイドバーで「コスト組織」の「コスト配分タグ」をクリックする。
Amazon Inspectorを利用したコンテナ脆弱性スキャン
# はじめに
MEGAZONE 株式会社 のテック陣「MEGAZONEのゆかいな仲間たち」がおくる、Megazone Japan Advent Calendar 2023 の4日目のエントリーです。
AWS上でコンテナイメージを扱う場面はそれなりにありますが、コンテナセキュリティまで意識できているかというと「うーん・・・」という方は多いのではと勝手に思っています。
Amazon Inspectorを利用した継続的なコンテナイメージスキャンを御紹介します。
# 目次
1. Amazon Inspectorについて
2. コンテナスキャンの有効化
3. 動作テスト# 1. Amazon Inspectorについて
https://aws.amazon.com/jp/inspector/
– Amazon Inspector は、ソフトウェアの脆弱性や、意図しないネットワークエクスポージャーについて、継続的に AWS ワークロードをスキャンする脆弱性管理サービスです。
– 利用を開始すると、Amazon Elastic Compute Cloud (Amazon EC2
re:Invent 2023に行ってきた①
この投稿は、2023年JINSのアドベントカレンダー4日目の記事です。
## 自己紹介
ITデジタル部の大間(@tskoma)です。JINSでクラウドエンジニアをやっています。
最近は少しだけデータエンジニアも始めました。
## JINSが何故re:Inventに？
JINSは2014年からAWSを使い始めており、多くのワークロードがAWS上で動いています。
直近では複数のAWSアカウントの構築〜運用保守をベンダーさんにお願いするのでなく、JINS自身で実施するような動きも進めています。
そのような状況のため最新のアップデートをキャッチアップすることはもちろんなのですが、現地で参加しイベントやAWSの熱量を知る、世界がどのサービスに熱狂しているかを知る、日本にいるメンバにも共有しエンジニア以外のメンバも含めもっとAWSに興味を持ってもらい活用を進めていくことが目的です。
re:Inventには私と@hotakenの2名でJINSとしては現地初参加してきました！
2日続けてアドベントカレンダーでre:Inventネタを投稿予定で、今回は概要編です。
## 現地の様子
### 会場
毎年の
Amazon CloudWatch Metricsの超詳細解説
# はじめに
この記事はDevOps on AWS大全の一部です。
DevOps on AWS大全の一覧は[こちら](https://qiita.com/tech4anyone/items/b06f88035d27c6ef13b2)。この記事ではAmazon CloudWatch Metricsに関連する内容を超詳細にまとめています。
具体的には以下流れで説明します。
– Amazon CloudWatch Metricsとは
– Amazon CloudWatch Metricsの活用
– Amazon CloudWatch Metrics for Advance
– Amazon CloudWatch MetricsのベストプラクティスAWSの区分でいう「Level 200：トピックの入門知識を持っていることを前提に、ベストプラクティス、サービス機能を解説するレベル」の内容です。
# この記事を読んでほしい人
– Amazon CloudWatch Metricsがどういうサービスか説明できるようになりたい人
– Amazon CloudWatch Metricsを採
Cognito による認証で使用されているトークンの話
# 前書き
研修の中で Cognito について調べました。その内容をアウトプットしたいと思います。# 本文
## Cognito とは
Amazon Cognitoは、アプリケーションやウェブサイトにおけるユーザー認証をサポートするためのAWSのサービスの1つです。ユーザごとの ID 管理や AWS リソースへのアクセスコントロールができます。Cognito を構成する要素は大きく2つに分けることができます。
– Cognito ユーザプール
ユーザの作成・管理・認証を行うユーザディレクトリ。認証された JWT （ JSON Web Token ）をアプリケーション・ Web サーバ・ API に直接発行します。– Cognito ID プール
AWS リソースへのアクセスを許可します。アプリケーション用の AWS 認証情報である STS トークンを発行します。ユーザプールが**認証**、ID プールが**認可**の役割を担っています。
今回はユーザプール認証で使用するトークンについてまとめます。## 認証で使用されているトークン
トークンは認証
ラーメンと私、ときどきAWS
## 自己紹介
“`jsx
コーディングを始めて、早いもので８ヶ月。。。
30歳をすぎて何とかフルスタックでクラウドネイティブなアプリを作れるようになってきました。そんな本職は企画屋だと思ってる私が、半人前？エンジニアになるため
どれだけラーメンを食べ、AWSと戦ったか、この場を借りて紹介したいと思います。
“`## 職歴
– **2016/04
：深く考えず、メーカーに入社。。。**
– **2016/10
：コールセンターでのお客様対応、第三者機関と連携した現地調査**
– **2019/01
：関係省庁との技術渉外**
– **2020/01
：また、コールセンターでのお客様対応、第三者機関と連携した現地調査**
– **2020/04
：コールセンターDXの推進（※自然言語処理系を学ぶ）**
– **2021/04
：販売店と連携したアフターサービスDX &社内（所属本部）のDX推進**
– **2023/04
：多分、ソフトウェアエンジニア（AWS,React,TypeScript…）を目指してる。。。？**## 🍜序章：ラーメンとの出会い
毎朝Lambdaで加工した画像をSlackに飛ばす(コスト0)
- アドベントカレンダー4日目を担当します、体脂肪率8%マンです。
- 今回は、全無料でAWS上で画像を加工して毎日決まった時間にSlackに飛ばすシステムを構築したので共有します。
- このシステムは毎日動いていますが、1ヵ月でかかる料金は0円です。## 目次
1. どんなシステムを作ったか
1. 背景
1. つまづいたポイント
1. ソースコード
1. Slack通知とInstagram投稿リスト
1. おわりに## どんなシステムを作ったか
### 何するシステム？
まず、毎朝7時に、EventBridgeがLambdaを起動して、Lambdaがローカルに保存している画像を加工します。具体的には、画像に対してLambda起動時の日付と任意のIndexを描画します。このとき、任意のIndexはDynamodbから取得を行い、日毎にインクリメントする形をとっています（つまり、12/1に１２５である場合、12/2は126のIndex番号を付与することが可能である）。画像を加工後、Slackに飛ばして処理は完了となります。### 使用技術と役割
アーキテクチャ内に含まれるも
AWS Amplify Hosting に Next.js 14 をデプロイする
# 前提
Amplify が Next.js 14 に対応したとのリリースを見たので、早速デプロイしてみようと思いました。最近リニューアルされた公式ドキュメントには、ReactだけでなくNext.jsのページも用意されていて、今後はReactとNext.jsとの差分を読み替えずに済みそうです。
## getting-started
従来の Amplify
https://docs.amplify.aws/nextjs/start/getting-started/data-model/
チュートリアルの中で `next-app@14` と バージョン14を指定しています。
Amplify gen 2 (Preview)
https://docs.amplify.aws/gen2/start/quickstart/
従来のAmplifyと、先日Previewで公開されたばかりの Gen 2 でも試してみようと思います。こちらも手順の中で `next-app@14` と指定されています。
# 問題発生
