- 1. コード生成AI簡易比較表
- 2. Agents for Amazon Bedrock に複数の Knowledge base を使い分けしてもらう
- 3. Amazon DataZone を学んでみた
- 4. CloudWAN⑤セグメントアクション
- 5. AWS CodePipeline のパイプラインタイプ v2
- 6. AWSのStepFunctionsを利用してLambdaを動的並列処理させる方法
- 7. AWSのStepFunctionsにおけるInvokeで後続処理への値の引き渡し及び新規パラメータを追加する方法
- 8. Amazon Cognitoで、未認証でのアクセスをログイン画面（Cognito Hosted UI）にリダイレクトさせるときのメモ
- 9. LambdaLayerから独自ライブラリを呼び出す際のTips
- 10. Amazon CodeCatalystに課金してAmazon Qにイシュー消化してもらってみた・・・が！？
- 11. GitHub Actionsを活用したAWS(EC2)自動デプロイ
- 12. S3+Athena構成の弊社データ基盤の限界が近い
- 13. Amazon CloudWatch Agent、Alarm、Syntheticsの超詳細解説
- 14. 技術スペックを大公開〜no plan株式会社〜2024年からの取り組み
- 15. 【AWS】IAM
- 16. AWS Lambdaレイヤーをローカル環境で構築する方法（Python）
- 17. API Gateway経由でStep Functionsのステートマシンを実行する
- 18. AWSにTerraformを使ってCMLを構築してみた
- 19. AWS無料利用枠について、急な課金に慌てない程度に理解しよう
- 20. Nextscape流 AWS re:Invent 2023 レポート
コード生成AI簡易比較表
コード生成AIについて調べた備忘録です。詳細は公式ドキュメントをご参照ください。
|サービス名|提供企業|料金|言語|トークン数|データ保護|連携|URL|
|:—-|:—-|:—-|:—-|:—-|:—-|:—-|:—-|
|Amazon CodeWhisperer|Amazon(AWS)|無料, 19USD/月|Java,JavaScript,Python|記載なし|個人利用はコンテンツ改善のため保持(設定で回避可能)|bash、VS コード内のターミナル、各種CLIなど|https://aws.amazon.com/jp/codewhisperer/faqs/|
|GitHub Copilot|GitHub、Microsoft|10USD/月, 100USD/年|パブリックリポジトリ内多数の言語|8192|データの学習利用なし|Visual Studio Code、Visual Studio、Vim、Neovim、JetBrainsのIDE suite、Azure Data Studio|https://github.com/features/c
Agents for Amazon Bedrock に複数の Knowledge base を使い分けしてもらう
Knowledge base for Amazon Bedrock （長い）を Agents for Amazon Bedrock （長い）から呼び出してみます。
複数のKnowledge baseを作成し、Agentsで「どのKnowledge baseを使用するべきか」を判断させてみます。Knowledge baseごとにデータソースとなるS3やチャンクサイズを分ける事が出来るので、データソースに応じた適切なチャンクサイズを指定したり、また、不要なベクトル検索を避ける事で誤作動（ハルシネーション）を抑制できると良いな…と思います。# Knowledge base の作成
前回（↓）作成したKnowledge baseに加えて別のKnowledge baseを作成し、Kendraに関するガイドを格納してクロールしておきます。https://qiita.com/cyberBOSE/items/73cfc485bd7ddee8613a
# Agents の作成
名前を適当に付けます。
に掲載されている以下の動画を引用しながら整理をしてみます。—— 引用ここから ——
## データ活用の課題
企業内に保持されているデータを活用することは非常に重要。しかし、通常は社内の多数の組
CloudWAN⑤セグメントアクション
## 前回までのおさらい・今回の設定内容
前回までの記事で、コアネットワークにセグメントを二つ作成し、それぞれにVPCアタッチメントを設定しました。今までの設定内容を構成図で確認しましょう。
現在は、COMMONとCOMMON2セグメントが存在する状態です。
COMMONセグメントとCOMMON2セグメントは参照先のルートテーブルが異なっているため、現状だと通信が行えない状態になっています。
そこで今回は、セグメントアクションの設定について確認していきます。
今回の設定内容を構成図に反映させたものがこちらになります。
赤枠で囲った部分が、追加設定が必要な個所となります。
– トリガー設定（CodePipeline で git タグでのトリガーのサポートを開始）ができるのが、従来の v1 との違いのようです。
https://docs.aws.amazon.com/ja_jp/codepipeline/latest/userguide/pipeline-types.html
https://docs.aws.amazon.com/ja_jp/codepipeline/latest/userguide/pipeline-types-planning.html
なお、CDK ではまだ、v2 には未対応のようです。
# CodePipeline でパラメータ化されたパイプラインのサポートを開始
入力パラメータをパイプライン実行に動的に渡すことができます。
https://aws.amazon.com/jp/about-aws/wha
AWSのStepFunctionsを利用してLambdaを動的並列処理させる方法
# 概要
前処理にて終了パラメータ個数分Lambdaを並列処理実行させることを実装するにはどうしたらいいかと調べつつできたのでメモしておく。
例えば、前処理にてS3へPUTしたファイルの複数のパスを後続へ渡し、各Lambdaがそれぞれの1つのファイルパスを受け取り処理をしたい場合に有効である。
今回はこちらを例にして説明する。# StepFunctionsのワークフロー
イメージは先ほども言ったが、①Lambda Invokeで分割した複数ファイルをS3へPUTしたKeyをパラメータで後続に渡す
②並列処理を実行するパラメータをそれぞれLambda Invoke_2に渡す
③Lambda Invoke_2の処理を実行する
# 実装方法
## 1. test_Invokeの作成
“`python
AWSのStepFunctionsにおけるInvokeで後続処理への値の引き渡し及び新規パラメータを追加する方法
# はじめに
StepfFunctionsのInvokeを知用し、LambdaA→LambdaBへとパラメータを渡す際に、Aの戻り値以外にも新たなパラメータを追加してLambdaBに渡したい事案が発生した。
その際にどうやるべきかを学んだのでここにまとめる。# ステートマシーン構成図
構成は以下の図の通り。
LambdaA(=Lambda Invoke)、LambdaB(=Lambda Invoke 2)として説明する
# ソースコード
[Lambda Invoke]
“`python
import jsondef lambda_handler(event, context):
# TODO implement
return {
‘statusCode’: 200,
Amazon Cognitoで、未認証でのアクセスをログイン画面（Cognito Hosted UI）にリダイレクトさせるときのメモ
## やりたいこと
CloudFront経由で公開しているサイトにて、Cognitoの認証がされていないアクセスについてはログイン画面にリダイレクトさせたい。
### 使うもの
[awslabs/cognito-at-edge](https://github.com/awslabs/cognito-at-edge)
### Cognito アプリケーションクライアント設定
1. OAuth 付与タイプを「認証コード付与」にする
2. コールバックURLにPathを含めない（例：https://example.com ）← cognito-at-edgeの仕様？ .com/のようにスラッシュも省くこと
3. 「ホストされた UI を表示」ボタンから飛べるHosted UIは使わない（使えない。ログイン後に502エラーとなる）### Lambda@Edge設定
[awslabs/cognito-at-edge](https://github.com/awslabs/cognito-at-edge) をLambda@edgeに設定する。“`npm
npm install
LambdaLayerから独自ライブラリを呼び出す際のTips
# はじめに
ご無沙汰しております。うらさくと申します
この記事は[TechCommit Advent Calendar 2023](https://adventar.org/calendars/8839)の7日目の記事です
連投になりますが頑張ります# 概要
今のプロジェクトでLambda関数からLambdaLayerを呼び出す際、「LambdaLayerにはないけどLambda関数側にあるライブラリを呼び出せないか？」という要求がありました
そもそもなぜこんな事になっているかというと、Lambda関数＋Layerで250MB制限を超えてしまったため、[こちら](https://yassanabc.com/2022/03/15/%E3%80%90lambda%E3%80%91efs%E3%82%92%E3%83%9E%E3%82%A6%E3%83%B3%E3%83%88%E3%81%99%E3%82%8B%E6%96%B9%E6%B3%95%E3%80%90%E5%AE%B9%E9%87%8F%E5%88%B6%E9%99%90%E5%9B%9E%E9%81%BF%E3%8
Amazon CodeCatalystに課金してAmazon Qにイシュー消化してもらってみた・・・が！？
# はじめに
– [Japan AWS Jr. Champions Advent Calendar](https://qiita.com/advent-calendar/2023/jr-champions) 6日目の投稿です!!
– 個人的にCodeCatalystが推しサービスでして、Jr. Champions同士でのLT会でもCodeCatalystを取り上げる他、Qiitaでも関連記事をいくつか書いてきました
– そんな私はre:Invent 2023にてAmazon Qとの連携が発表された当日に[Amazon CodeCatalystがAmazon Qと統合されて進化！有効化するにはどうすればよいの？](https://qiita.com/kensan_773/items/4f6f1d7de577411036dc)にてAmazon Qを有効化したものの、無課金ユーザでは存分に機能を享受できず･･･という結論で終わってしまいました
– そこで今回は課金して実際に利用した感想をお伝えしようと思います！
自動デプロイ
## はじめに
この記事では、Ubuntu 22.04.3 LTS環境でGitHubリポジトリへのSSH接続の設定と、GitHub Actionsを使用したEC2サーバー上のプロジェクトの自動デプロイについて解説します。このプロセスは、開発者が継続的インテグレーション（CI）や継続的デプロイメント（CD）を実現するのに役立ちます。
—
こちらの記事もおすすめ
https://hamaruki.com/gitlab-a-simple-guide-to-using-docker-compose/
https://hamaruki.com/how-to-create-luminous-object-animations-with-blender-4-0-even-for-beginners/
## Ubuntu環境の確認
まず、使用しているUbuntuのバージョンを確認します。以下のコマンドを実行してください：
“`bash
cat /etc/os-release
—
ubuntu@ip-172-31-45-101:~$ cat /etc/os-release
S3+Athena構成の弊社データ基盤の限界が近い
こちらのアドベントカレンダーの記事です。
https://qiita.com/advent-calendar/2023/aws
近々書くような気がするので、先駆けてアドベントカレンダー駆動で書いていきます。
スタートアップのデータ基盤に興味がある人には刺さるかもしれません。## TL;DR
– 2020年に構築した弊社のS3+Athena構成のデータ基盤の限界が近い
– 構築当時に比べてデータ基盤の選択肢色々増えて嬉しい
– 2024/1~3にかけてSnowflake or Redshift Serverlessの検証をします## 現在のデータ基盤の構成
タイトルの通りS3 + Athenaを中心にAWSの細かいサービスを使っています
### 使用技術
– S3
– Athena
– Glue
– GlueETLは
Amazon CloudWatch Agent、Alarm、Syntheticsの超詳細解説
# はじめに
この記事はDevOps on AWS大全の一部です。
DevOps on AWS大全の一覧は[こちら](https://qiita.com/tech4anyone/items/b06f88035d27c6ef13b2)。この記事ではAmazon CloudWatch Agent、Alarm、Syntheticsに関連する内容を超詳細にまとめています。
具体的には以下流れで説明します。
– Amazon CloudWatch Agentとは
– Amazon CloudWatch Alarmとは
– Amazon CloudWatch SyntheticsとはAWSの区分でいう「Level 200：トピックの入門知識を持っていることを前提に、ベストプラクティス、サービス機能を解説するレベル」の内容です。
# この記事を読んでほしい人
– Amazon CloudWatch Agent、Alarm、Syntheticsがどういうサービスか説明できるようになりたい人
– Amazon CloudWatch Agent、Alarm、Syntheticsを採用するとき
技術スペックを大公開〜no plan株式会社〜2024年からの取り組み
これは[no plan inc.の Advent Calendar 2023](https://qiita.com/advent-calendar/2023/noplan_inc)の6日目の記事です。
どうも〜！no plan株式会社 代表のおかむーです。
この記事では弊社の2024年からの取り組み技術スペックについて書かせていただきます。
(この記事は2023年12月時点でのことなので、時代の流れによっては異なることが予想されますので、そのつもりで見ていただければと思います)# no plan株式会社の技術スペック
基本的には技術スペックは統一しています。主に以下の8つの項目について書きます。1. web3, Blockchain
1. Web2.0
1. インフラ
1. デザイン
1. 言語
1. フレームワーク
1. エンジニアリング/チーム育成
1. その他ツールなど## 1. web3, Blockchain
– [Ethereum(EVM)](https://ethereum.org/en/developers/docs/evm/)
– モジュラーブ
【AWS】IAM
# IAMユーザとは
AWSにアカウント登録をすると**ルートユーザ**が作成される。
ルートユーザはアカウントの契約変更や解約なども行える非常に強い権限を持つ。:::note alert
原則ルートユーザではなくIAMユーザを使うことがAWSにおけるベストプラクティスである
:::**IAMユーザ**はAWSアカウントで作成できるユーザ。マネジメントコンソールにアクセスしてAWSのリソースを操作できる。
# アクセスの種類
| アクセス先 | アクセス方法 |
| —- | —- |
| AWS CLI,SDK | アクセスキー |
| AWSマネジメントコンソール | パスワード |:::note info
IAMユーザではアクセスキーIDとシークレットキーの項目を含む文字列(**アクセスキー**)を生成できる。
:::# IAMグループとは
IAMユーザをグループ分けする機能であり，複数のユーザに対して一括で同一の権限を付与できる。またユーザは複数のグループに属すことができる。# IAMロールとは
AWSリソースに紐づけられる役割で，アクセスキー
AWS Lambdaレイヤーをローカル環境で構築する方法（Python）
# AWS Lambdaレイヤーをローカル環境で構築する方法（Python）
## はじめに
この記事では、Pythonを用いてAWS Lambdaレイヤーを作成し、ローカルでのLambda環境のコンテナを構築し、そこでレイヤーを作成してS3にプッシュする方法について説明します。## 目次
１．AWS Lambdaレイヤーとは
２．前提条件
３．ローカルでのLambda環境の構築
４．Lambdaレイヤーの作成
５．LambdaレイヤーのS3へのプッシュ
６．Lambda関数でのレイヤーの利用
７．おまけ## １．AWS Lambdaレイヤーとは
AWS Lambda Layerは、Lambda環境下おいて共有ライブラリ、依存関係、その他のカスタムランタイムコンポーネントを管理するための機能になります。これらの共有コンポーネントをLambda関数から分離することにより、コードの管理と再利用を容易にすることができ、効率的な開発を実現することができます。## ２．前提条件
AWS Lambdaレイヤーを構築する際には、Lambdaと同じランタイム環境での構築が必要となります。
API Gateway経由でStep Functionsのステートマシンを実行する
この記事は[BeeX Advent Calendar 2023](https://qiita.com/advent-calendar/2023/beex)の6日目の記事です。
# はじめに
AWSにはAPI機能をフルマネージドに提供するサービスとして、API Gatewayがあります。よく見る構成としては、API Gatewayで作成されたAPI(RESTful等)に対してリクエストを送信し、受信したリクエストをバックエンドのLambdaで処理し結果を返す、というものがあります。
そのAPI Gatewayですが、Lambda等のリクエストを処理することができるコンピュートリソースをバックエンドに配置する以外に、直接AWSサービスのAPIをバックエンドとして呼び出すことも可能になっています。
今回はそのAPIを直接呼び出す仕組みを使用して、AWS Step Functionsの「StartExecution API」をAPI Gateway経由で呼び出す構成を検証していきます。
尚、API Gatewayを使用して「StartExecution API」を呼び出す
AWSにTerraformを使ってCMLを構築してみた
# はじめに
:::note info
この記事は[Cisco Systems Japan Advent Calendar 2023](URL “https://qiita.com/advent-calendar/2023/cisco”)の６日目の記事となります。
:::2017年版: https://qiita.com/advent-calendar/2017/cisco
2018年版: https://qiita.com/advent-calendar/2018/cisco
2019年版: https://qiita.com/advent-calendar/2019/cisco
2020年版 1枚目: https://qiita.com/advent-calendar/2020/cisco
2020年版 2枚目: https://qiita.com/advent-calendar/2020/cisco2
2022年版(1,2): https://qiita.com/advent-calendar/2022/cisco
2023年版: https://qiita.com/adve
AWS無料利用枠について、急な課金に慌てない程度に理解しよう
## はじめに
AWSには無料利用枠があるというのは有名な話ですが、私自身、無料利用枠について詳細には理解していなかったことに気づきました。
というのも、先日（土曜日の夕方）、”AWS Free Tier limit alert”という件名のメールが個人メールアドレスに届きまして、しかも、使用した覚えのないサービスについて記載されていたため慌てたからです（笑）
今後、私と同様に慌てる方がいらっしゃるかもしれないと思い、記事にしました。
ちなみに届いたのはこんなメールです。AWSQueueServiceはAmazon SQSですが、使った覚えがありませんでした。
## AWS無料利用枠について改めて理解する
AWS無料利用枠には、12ヶ月無料、無期限無料、短期トライアルの３タイプがあります。
なお、AWS Organizati
Nextscape流 AWS re:Invent 2023 レポート
# 旅のはじまり
こんにちは、ネクストスケープ太田です。
今年も行って来ましたラスベガス、目的はそう、AWS re:Invent！！
個人的には、2016、2017、2018、2019、に続き5回目、4年ぶりの参加となります。今回は私の他3人の合計4人パーティで行ってきました。
宿泊先はもちろん、Airbnb！ちょっとした合宿です。出張期間は、日本時間で2023年11年24日～2023年12月3日までの10日間、長いですね！
勘の良い人はイベント開催期間と出張期間が合ってないんじゃ、と気がついたはず。
イベント期間は2023年11月27日～2023年12月1日まで、なんですねー、不思議。当初は我々も1日前に着けば良いや、と思っていたんですが、航空券を予約するタイミングが遅く、高いチケットしか残っていなかったんですね。
1円でも安く！をモットーに掲げていた我々は、2日前の激安チケットで行くことで、Airbnbを2日間伸ばすよりも安く行くことが出来たのです。ということでレッツゴー！ラスベガス！！
# ラスベガス初日
羽田空港を経て、ロサンゼルスを経由して、何事もなくラスベ
