- 1. AWS ではどうやって1日5回のコードリリースを可能にするのか?
- 2. Microsoft SQL Server をライセンス持ち込みでインストールする手順
- 3. 【AWS】AI/MLサービスまとめ(無料利用枠有りのサービス)
- 4. S3からR2に移行しGUIを作った
- 5. 【AWS】Amazon Redshiftクラスターの作成手順
- 6. GPT-4oで手書きのスケッチからAWS CDKのコードを生成してみた
- 7. SUUMOにて割安賃料物件を見つけよう_データ基盤構築編
- 8. vertex AI(Google Cloud)くん、awsを嫌ってる
- 9. DifyとAmazon Kendraを組み合わせて社内向けRAGチャットを構築する
- 10. [エラー備忘録]Lambdaのロググループが見つからない
- 11. AWS触り始めて20日でAWS SAAを取得した人の自己紹介
- 12. Redshiftのデータ共有で元DBに作成したテーブルを即時反映させる
- 13. カニ🦀になって絵日記書くSNSの構成技術〜インフラ編〜
- 14. S3に格納されているCSVファイルのDatabricksへの取り込み
- 15. AWS Marketplace から Insight SQL Testing の 14 日間のトライアル利用が可能になりました
- 16. DynamoDBをローカルで動かす
- 17. bedrock knowledge baseを使ってAI総務社員を作ってみた
- 18. AWSを基本的にまとめてみた【AWS Well Architected】
- 19. せっかくのGWなのでAmazon bedrockのハンズオンを行ってみた
- 20. AWS Cost Anomaly Detectionの初期設定と所感
AWS ではどうやって1日5回のコードリリースを可能にするのか?
### なぜこの記事を書いたのか?
– AWS-SAP の問題文に、「1日5回のコードリリースは可能。本番環境とテスト環境のVPC を交換できる」と書かれていて、実装に興味を持ちました#### 前提条件
– [AWS のブルー/グリーンデプロイ](https://aws.amazon.com/jp/quickstart/architecture/blue-green-deployment/)で実現可能[AWS のブルー/グリーンデプロイ](https://aws.amazon.com/jp/quickstart/architecture/blue-green-deployment/)
AWS CodePipeline を使用した AWS Elastic Beanstalk 環境へのデプロイ#### 概要
– AWS CodePipeline を使用してElastic Beanstalk 環境へデプロイする過程で、本番環境をブルーとし、同一環境をグリーンとして一時的に構築し、 ブルーとグリーンのURL を交換することで、ブルーに対して安全にデプロイしサービスを継続したままデプ
Microsoft SQL Server をライセンス持ち込みでインストールする手順
SQL Server をAWSで構築したEC2インスタンスへ、ライセンス持ち込みを利用してインストールしようとした際に掛かった手順を紹介します。
# 免責事項
:::note warn
本記事の内容はライセンスに対する記述の正確さを保証しません。
本記事の内容に誤りがあり、それによりいかなる不利益を被った場合にも、一切の責任を負えないことを予めご了承ください。
また、ライセンスに関する正式な判断が必要になる場合は必ず Microsoft および AWS に確認してください。
:::# まず初めに
通常、AWS EC2インスタンスでSQL Server を利用する場合、豊富に存在するSQL Server 込みのAMI を使ってインスタンスを起動することが一番手っ取り早く簡単です。
適当に検索しただけでも「SQL Server」を含むAMIは以下の画像のように沢山あることが分かります。![SQL Server_AMI.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3755487/97cdb78
【AWS】AI/MLサービスまとめ(無料利用枠有りのサービス)
# 概要
AWSで提供されている、無料利用枠有りのAI/ML関連のサービスをまとめました。:::note warn
現時点(2024.05.15現在)において…
・一部のサービスまたは機能において日本語対応していない場合があります
・東京リージョン(ap-northeast-1)で提供されていないサービスが含まれています
:::# 各サービス紹介
### 画像系
サービス名 何ができる? ユースケース Amazon Rekognition 画像と動画の分析自動化 ・映像からの人物検出
・顔認識(ユーザ認証等)
・画像からのテキスト抽出 などS3からR2に移行しGUIを作った
# S3高すぎる!
私は普段ゲーム開発をしており、Android向けのアプリとWindows向けのアプリは自分のwebサイトでフリー公開しています。
以前記事を書いたのですがhttps://qiita.com/mizuameisgod/items/4f7986c904c58ccb610d
一つ1GB以上になるアプリデータを一日10回ダウンロードされるだけでも月300GBとなり、3000~5000円かかります。高いためcloudflareとかいう慈善団体(嘘です)が提供しているR2に移行しました。
なんとこのR2、転送(エグレス)に一切お金がかからず月1000万回のGETリクエストまで無料となっています!https://www.cloudflare.com/ja-jp/developer-platform/r2/
しかもAWS互換の操作で動くためAWS SDKとかがそのまま使えます。
## ここだけ微妙
R2、なぜかコンソールから一つ当たり300MB以上のファイルをアップロードできず、API経由でしか無理です。なので作りました。
https://github.com/
【AWS】Amazon Redshiftクラスターの作成手順
# はじめに
今回はAmazon Redshiftクラスターの作成手順を、備忘も兼ねて、実画面とともに記載します。Amazon Redshiftの概要については先日まとめたため、必要に応じてご確認ください。
https://qiita.com/rm_zeal/items/b77818daff6f92fc5cd3
# 目次
・Amazon Redshiftクラスター作成手順
①Redshiftで「クラスター」を選択し、「クラスターを作成」を押下
②クラスター設定を実施
③サンプルデータ
④データベース設定
⑤クラスターの許可
⑥追加設定
⑦「クラスターを作成」を押下
・注意
・おわりに
・参考# Amazon Redshiftクラスター作成手順
#### ①Redshiftで「クラスター」を選択し、「クラスターを作成」を押下
・この際、リージョンの指定が適切に行えているかを確認(今回は東京リージョンを選択)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/30749GPT-4oで手書きのスケッチからAWS CDKのコードを生成してみた
## はじめに
スケッチから HTML を生成できるなら、CDK のコードも生成できるのでは?と思い、試してみました。
GPT-4oの画像認識力と理解力をもってすればいけるやろと思ってやってみたら実際いけた。
ペーパープロトタイピングから最初のHTML書き起こすのにかなり使えるのでは。
つーか指示そのものを画像の中に書いたの読み取ってくれるの何か世界の壁を超えて対話してる感があって凄い#GPT4o pic.twitter.com/3XHMFg3yye
— kmizu (@kmizu) May 14, 2024
## 試してみる
画像解析力を試したいので、あえてプロンプトは入力しませんでした。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/9964/864e8e99-1d7d-34df-8a7a-7e1a50f33b25.png)
生成結果です。プロンプトがないためか英語で応答されましたが、期待通り CDK のコードが生成されました。画像の中に書かれた指示まで読み取ってくれるのは、確かに便利ですね。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/9964/7186c157-21a6-0384-4607-4d0c5737d206.png)
付け加えておくと、最初
SUUMOにて割安賃料物件を見つけよう_データ基盤構築編
![suumo.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2664262/abb34c4e-889e-71ee-7a36-257fedaa8146.png)
# 概要
SUUMOにて割安な賃料物件を探しました。#### 調査の流れ
調査は以下の3つに分割しました。
1. データ基盤構築編(今回の記事)
2. モデル作成編
3. アプリ作成編# データ基盤構築
以下のアーキテクチャ図の流れでデータ基盤を構築しました。![スクリーンショット 2024-05-14 230605.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2664262/94e615c8-ebf1-ecc8-3ec6-0f0a7d0c96fe.png)
#### 1. Event Bridge
2つのEvent Bridgeのルールを作成しました。
1つ目はEC2を起動ます。その5分後に2つ目のルールによりEC2内に保存されているvertex AI(Google Cloud)くん、awsを嫌ってる
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1694582/54312702-1017-950d-9e4e-1a5669218bed.png)
無料で使えるvertexAIくんにawsのこと聞いてみた。
> awsでもgptのサービスってやってる?
はい
> なんかたんぱくだね
はい
> awsきらい?
はい
どうやらawsの話題をするとヤンデレの病み要素が出ちゃうみたい
以上。どうでもいいことの共有でした。
DifyとAmazon Kendraを組み合わせて社内向けRAGチャットを構築する
## はじめに
Difyは、ノーコード・ローコードで手軽に生成AIアプリを構築できるOSSです。
https://github.com/langgenius/dify
ノーコード・ローコード系の生成AIアプリ開発OSSとしてはほかにもFlowiseやlangflowがありますが、Difyはここ最近急速に注目を集めるようになり、他二つをGithubのStar数で追い抜きました。
[![Star History Chart](https://api.star-history.com/svg?repos=FlowiseAI/Flowise,langflow-ai/langflow,langgenius/dify&type=Date)](https://star-history.com/#FlowiseAI/Flowise&langflow-ai/langflow&langgenius/dify&Date)
そんなDifyですが、非常に生成AIアプリを構築できるものの、2024/05/12現在ではRAGを実現する際に利用できるデータソースが
– 内蔵 Vector Store への
[エラー備忘録]Lambdaのロググループが見つからない
# はじめに
Amplifyで作成したLambdaのログをCloudWatchで見ようとしたときに、「Log group does not exist」というエラーに出くわしたので、備忘録として簡単に残しておきます。# 原因、対処
以下の記事を確認してみると、Lambdaが一度も実行されず、ログが一度も出力されていない場合に、このようなエラーになるみたい。
ということで、Lambdaが呼び出される処理の流れを辿っていると、ソースコードでエラーになっている箇所があり、Lambdaを呼び出しているソースまでたどり着いていなかった。
ソースを修正して、Lambdaを呼び出せるようにしたら、CloudWatchにログが出力されており、エラーも消えました。https://repost.aws/ja/knowledge-center/lambda-cloudwatch-log-streams-error
# 最後に
他にも色々な記事を書いているので、よければ読んでいってください!https://qiita.com/hukuryo/items/97797a91d7e2ee0bcabc
AWS触り始めて20日でAWS SAAを取得した人の自己紹介
# はじめに
こんにちは!現在AWSエンジニアになるために勉強中のびび丸です。
今回はAWSに興味を持ってからAWS認定資格(AWS Certified Solutions Architect – Associate,AWS Certified Cloud Practitioner)を20日で取得したのでそのきっかけと取得までの流れを共有できたらいいなと思い、Qiitaにて記事を作成いたしました。
各試験に向けて勉強した具体的な勉強方法などはまた別記事を書こうかと思っています。# 自己紹介
本題に入る前に僕のAWSについて学習を始める前の経歴を紹介します。* 現職はweb開発系2年目エンジニア
* 使用言語はPHP.Java
* 主にWordpress構築などのCMS導入支援
* AWSはほぼ未経験、趣味でマインクラフトのサーバーをweb上のマニュアル通りに作成したが仕組みを理解できておらず**料金が膨大**になり断念したことありこのように業務としてAWSとはほぼ無縁の生活をしてきました。
# AWSとの出会い
友人がAWSRedshiftのデータ共有で元DBに作成したテーブルを即時反映させる
# はじめに
Redshiftのデータ共有、皆さん使われているでしょうか。
物理的なコピーをせず、Redshift間でデータの共有ができて便利ですよね。さて、このデータ共有ですが、既に共有されているテーブルに対してデータの追加や更新(INSERTやUPDATE)をすると即時反映されますが、**テーブルの作成(CREATE TABLE)はデフォルトでは即時反映されません**。
テーブルの作成も即時反映させたい場合は、ALTER文で `SET INCLUDENEW = TRUE SCHEMA schema` を実施する必要があります。デフォルトではこれがFALSEになっており、かつGUI上ではこれをTRUEに設定できるところが見つかりませんでした。
https://docs.aws.amazon.com/ja_jp/redshift/latest/dg/r_ALTER_DATASHARE.html
今回はこれをクエリエディタv2で実施してみます。
# 前提条件
以下のRedshiftを、それぞれ別のアカウントで作成済み。– プロデューサーはRedshift Provisio
カニ🦀になって絵日記書くSNSの構成技術〜インフラ編〜
# カニ🦀になって絵日記書くSNSの構成技術〜インフラ編〜
## はじめに
[カニ🦀になって絵日記書くSNSつくったので技術まとめ](https://qiita.com/kawerlake0322/items/ba97be7a098d57afde26)のインフラ編になります🦀
AWS Copilot CLIを使ったのでまとめます。## AWS Copilot CLI
CLIで、簡単な質問に答えればAWS環境をあっという間に構築してくれる優れものです。私のようなインフラのことよく分からなくてもデファクトスタンダードで作ってくれちゃいます。アーキテクチャを聞いてくる質問があるのですが、フロントエンドはApp Runner(Request-Driven Web Service)を、バックエンドはECS on fargate(Load Balanced Web Service)を使うっぽいということだけ知っておけば多分もう大丈夫です。
[ドキュメント](https://aws.github.io/copilot-cli/ja/docs/overview/)も結構分かりやすいと思います。S3に格納されているCSVファイルのDatabricksへの取り込み
簡単そうに見えなくもないですが、いくつか選択肢があるのでそれぞれの良し悪し含めてウォークスルーしていきます。
マニュアルはこちらですが、それほど親切ではありません(すみません、あとで修正します)。
https://docs.databricks.com/ja/ingestion/onboard-data.html
以下の2つの観点で選択肢を検討する必要があります。
– DatabricksからS3へのアクセス方法
– S3からDatabricksへの取り込み# S3の準備
AWSのコンソールからS3バケットを作成します。ここでは`taka-uc-external-location-bucket`という名前にしています。
![Screenshot 2024-05-14 at 20.17.56.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/1088bff0-27ad-dd95-fa97-76f4eadb147e.png)適当なCSVファイルをアップロードしておきます。
![AWS Marketplace から Insight SQL Testing の 14 日間のトライアル利用が可能になりました
こんにちは!インサイトテクノロジーの松尾です。
なんと、データベース移行やデータベースバージョンアップ時のテストを支援する製品 Insight SQL Testing が、AWS Marketplace からトライアル利用可能になりました!
## AWS Marketplace から Insight SQL Testing の 14 日間のトライアル利用が可能に
本投稿では AWS Marketplace から Insight SQL Testing の 14 日間のトライアル利用が可能になりましたので、簡単に利用方法などをご紹介します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3480312/e7a7652e-cd46-2aa7-1bf8-95a047245e51.png)
これまで Insight SQL Testing をトライアル利用するには、インサイトテクノロジー社へ問い合わせてトライアルライセンスを発行してもらう必要がありました。AWS Marketplace
DynamoDBをローカルで動かす
# DynamoDBをローカルで動かす
`docker`を使用して、`DynamoDB`をローカルで動かす手順をメモっておきます。
## docker-compose.yml
`docker-compose.yml`ファイルを作成
次を貼り付ける。
“`yml:docker-compose.yml
version: “3.7”services:
dynamodb-local:
image: amazon/dynamodb-local:latest
container_name: dynamodb-local
user: root
volumes:
– “./data:/data”
command: [“-jar”, “DynamoDBLocal.jar”, “-sharedDb”, “-dbPath”, “/data”]
ports:
– “8000:8000”dynamo-admin:
image: aaronshaf/dynamodb-admin:latest
conbedrock knowledge baseを使ってAI総務社員を作ってみた
# :tent: 背景
弊社では社内規定に対する質問が全社員から総務部に問い合わせがあり総務の負荷が増えております。「社内規定を見てください!」と常々周知はしていますが聞いた方が早いため気軽に総務にチャットで聞いてしまうのが現状です…これは「どげんかせんといかん!」(どうにかしなくては)ということで最近AI関連の技術でbedrock knowledge baseで**RAG検索**とかいう社内規定文章をベースにいい感じに回答してくれる仕組みがあるらしいので試してみました。# :raised_hands: ゴール
・teamsで社内規定の質問を投稿するとAIが自動で回答すること
・一般的な情報ではなく社内規定文章を元にした回答であること
・嘘をつかないこと
・総務の若い子からQiiZiro(私)さん素敵です:couple_mm:と愛が芽生えること:seedling:ムフ、ムフフフフ…
AIの勉強にもなって念願の彼女もできる(かもしれない)ので燃えてまいりましたぞ:muscle:# :tools: アーキテクチャ
teamsとの親和性を考えるとバックエンドはAWSを基本的にまとめてみた【AWS Well Architected】
## AWS Well Architectedとは?
– クラウドアーキテクチャの構築、運用、最適化を支援するためのフレームワーク
– 6つの柱から構成されており、それぞれの柱にはベストプラクティスが定義されている## 6つの柱
1. オペレーションの卓越性: 運用プロセスの自動化、監視、ログ記録を徹底することで、システムの信頼性と可用性を向上させる
2. セキュリティの卓越性: データの機密性、整合性、可用性を保護するためのベストプラクティスを実装することで、セキュリティリスクを軽減する
3. パフォーマンス効率の卓越性: ワークロードのニーズに合わせてリソースをプロビジョニングし、最適化することで、システムのパフォーマンスとコスト効率を向上させる
4. コスト最適化の卓越性: コスト管理、使用量分析、予約購入などのベストプラクティスを実装することで、クラウドコストを削減する
5. 持続可能性の卓越性: エネルギー効率の向上、廃棄物の削減、持続可能な調達などのベストプラクティスを実装することで、環境への影響を軽減する
6. デベロッパーエクスペリエンスの卓越性: コードのデプせっかくのGWなのでAmazon bedrockのハンズオンを行ってみた
### はじめに
文系ITエンジニアになって2年半がたったまだ駆け出しのAWSのBedrockをさわる記事です。
私は、AWS SAAまで持ってますが、業務ではEC2,RDSなど基本的なところだけ触ってるくらいの知識です。今回は、[ みのるんさん ](https://qiita.com/minorun365)の[ AWSの生成AI最新機能ハンズオン!BedrockのKnowledge BaseとAgentsに入門しよう ](https://qiita.com/minorun365/items/86a3667290a8e5657f65)を行ってみる。
※この方は6月末に本を出してしまうくらい生成AI関係について発信しているのでおすすめです。
[前回](https://qiita.com/tartarprogram/items/cb0261066f0df9a5beee)は、このハンズオンだと 2. Knowledge BaseでRAGに挑戦! までだったから、そこからさらに一歩進んでみます。
### 作業概要
0.環境準備
1.まずはBedrockを使ってみよう!
2.KnowAWS Cost Anomaly Detectionの初期設定と所感
コスト異常検出のレイテンシーが減少したという公式ニュースを見かけました。
見た事はあったんですが触った事がなかったので触ってみた所感になります!AWS Cost Anomaly Detection reduces anomaly detection latency by up to 30%
(訳 AWS コスト異常検出により、異常検出のレイテンシーが最大 30% 削減されます)https://aws.amazon.com/about-aws/whats-new/2024/05/aws-cost-anomaly-detection-reduces-latency/
# ■そもそもAWS Cost Anomaly Detectionとは?
簡単に説明すると、そのまんまコストの異常検出です
機械学習を使っていい感じに異常があったらメールで通知してくれるんだな〜って感覚でまずは良いかと思います。導入ステップについてはAWSコンソールにも記載がありました。
![cost概要.png](https://qiita-image-store.s3.ap-northeast-1.am
関連する記事
OTHERカテゴリの最新記事
- 2024.09.19
JavaScript関連のことを調べてみた
- 2024.09.19
JAVA関連のことを調べてみた
- 2024.09.19
iOS関連のことを調べてみた
- 2024.09.19
Rails関連のことを調べてみた
- 2024.09.19
Lambda関連のことを調べてみた
- 2024.09.19
Python関連のことを調べてみた