- 1. CloudFormationでコンソールからのリソースインポートに失敗した
- 2. AWS Batchのジョブキューとジョブスケジューリングを整理した
- 3. EC2インスタンスにSSHでログインできない（Tera Term）
- 4. 個人開発サービス(Q)のインフラ(AWS)アーキテクチャ
- 5. AWS CDKでメタトランザクション用サーバーレスAPIを実装してみた！
- 6. 【AWS】AWSのアクセス権について
- 7. AWS Batchのコンピューティング環境を整理してみた
- 8. 【isucon】EC2上にあるprivate-isuのソースコードをGit管理する
- 9. Amazon ECS(Fargate): Firelensの[FILTER]に、name ecsを設定した場合としない場合のログ形式の違い
- 10. S3 署名付きURL
- 11. AWSとGitHubを組み合わせてCI環境を作成してみた
- 12. AWSでKataGo(囲碁AI)を動かす
- 13. Security Jaws CTF writeup
- 14. 【SOA-C02】AWS-SOAに1ヶ月で合格した勉強法
- 15. AWS Certified Solutions Architect – Professional 認定試験。。。合格！
- 16. 今日の晩御飯はAIに考えてもらう。
- 17. ELBテストでAZを表示させるページを作りたい！
- 18. 【個人開発】ゲーマー同士が一緒に楽しく遊べる人かどうかの判断をサポートするサービスを開発しました！
- 19. 「AWS Hands-on for Beginners Serverless #2 AWS SAM を使ってテンプレートからサーバーレスな環境を構築する」をAWS CLIでやってみる
- 20. AWS DEA勉強で学んだことメモ
CloudFormationでコンソールからのリソースインポートに失敗した
# 概要
CloudFormation(以下CFn)で管理しているAurora MySQLを[ブルー/グリーンデプロイ](https://docs.aws.amazon.com/ja_jp/AmazonRDS/latest/AuroraUserGuide/blue-green-deployments-overview.html)にて手動でアップグレードを実施しました。
再びCFn管理にする際、コンソールからリソースをインポートしようとしたところ問題が発生したため、その問題の内容と実施したことを記載します。:::note warn
この記事は2024/9/18の内容であり、現在問題は解消している可能性があります。
:::# 問題
新しいAurora MySQLバージョンでクラスターとインスタンスをCFn管理にする際には下記ドキュメントを参考にコンソールよりリソースのインポートを実行しました。https://docs.aws.amazon.com/ja_jp/AWSCloudFormation/latest/UserGuide/resource-import-resolve-d
AWS Batchのジョブキューとジョブスケジューリングを整理した
# 背景・目的
以前、下記の記事で、AWS Batchの基本的な情報とコンピューティング環境について整理しました。https://qiita.com/zumax/items/f9b27b5e69cba66c9a81
https://qiita.com/zumax/items/4d426da81e38e7f8a040
今回は、ジョブキューについて整理します。
# まとめ
下記に特徴を整理します。|特徴|説明|
|:–|:–|
| ジョブキューの役割|ジョブは、ジョブキューに送信され、コンピューティング環境で実行するようスケジュールされるまで保存される
ジョブは、ジョブキューに送信され、コンピューティング環境で実行するようスケジュールされるまで保存される
ジョブキューには優先度がある。スケジューラーはこれを使用して、どのキューのどのジョブを最初に実行すべきか判断する|
|ジョブキューパラメータ|下記の４つの基本コンポーネントに分かれる
・name
・state
・priority
・compute environment
EC2インスタンスにSSHでログインできない（Tera Term）
# EC2インスタンスにログインできない
接続はできるのに、認証でエラーがでていた## 解決策
Tera Termのバージョンを5以上にした## 原因
Tera Termのバージョン4ぐらいは rsa-sha2-256 および rsa-sha2-512 プロトコルがサポートされていなかったぽい以下のサイトを参考にした
個人開発サービス(Q)のインフラ(AWS)アーキテクチャ
## 概要
2024年春から個人でサービス(Q)の開発を行っています。本ページではサービス(Q)のインフラ(AWS)のアーキテクチャを紹介します。＊サービス自体は非公開としています。
## アーキテクチャ図
サービス(Q)のインフラ(AWS)についてアーキテクチャは下図のようになっています。
サービス(Q)のインフラ(AWS)アーキテクチャ図## ふりかえり
本サービスはまだ開発の初期段階にあります。
本ページで紹介したアーキテクチャの中で一部はTBDとなっている箇所もありますが、
今後も随時アップデートをしたいと考えています。
AWS CDKでメタトランザクション用サーバーレスAPIを実装してみた！
## はじめに
2024 年 9 月 21 日〜22 日にかけて開催されている **ServerlessDays Tokyo 2024** に参加して触発されてこの記事を執筆しました！！
https://serverless.connpass.com/event/325659/
**サーバーレスこそ至高！！！！**
そんな思いが芽生えてきました・・！！
今回は AWS と Web3 両方の技術スタックにまたがる記事となっています！！
ぜひ最後まで読んでいってください！！
## 関連用語解説
### AWS CDK
AWS CDK は、 **CloudFormation** を 1 段階抽象化させた IasC のツールです！！
https://aws.amazon.com/jp/cdk/
https://aws.amazon.c
【AWS】AWSのアクセス権について
# 前回までのあらすじ
第1回目の学習ではクラウドサービスとはなんなのかをAWSが公式で紹介しているサイトについてまとめました。今回からは実際にAWSの中身を詳しくみていこうと思います。https://qiita.com/koutorino/items/bca3517a560bd7876778
# IAMについて
IAMとはAWSにおける認証機能であり、セキュリティー面を考慮する上で必要不可欠なものになります。
AWS公式サイトによると以下のように説明があります。
>AWS Identity and Access Management (IAM) は、AWS リソースへのアクセスを安全に管理するためのウェブサービスです。IAM を使用すると、ユーザーがアクセスできる AWS のリソースを制御するアクセス許可を管理できます。IAM を使用して、誰を認証 (サインイン) し、誰にリソースの使用を認可する (アクセス許可を付与する) かを制御します。IAM は、AWS アカウント の認証と認可を制御するために必要なインフラストラクチャを提供します。簡単に言えば、特定の個人に対してA
AWS Batchのコンピューティング環境を整理してみた
# 背景・目的
以前、下記の記事でAWS Batchについて基本的な知識を整理しました。https://qiita.com/zumax/items/4d426da81e38e7f8a040
今回は、コンピューティング環境について整理します。
# まとめ
下記に特徴を整理します。|特徴|説明|
|:–|:–|
|コンピューティング環境|ジョブキューは、一つ以上のコンピューティング環境にマッピングされる
コンピューティング環境には優先順位がある
コンピューティング環境はリソースや、使用可能な状態により適切にアサインされる|
|マネージドコンピューティング環境|AWS Batch で環境内のコンピューティングリソースの容量とインスタンスタイプを管理が可能
コンピューティング環境の作成時に定義したコンピューティングリソースの仕様に基づく|
|マネージドコンピューティング環境のNW|VPCとサブネットを指定する
指定した VPC およびサブネットに EC2 インスタンスが起動され、ECS クラスターに登録される
【isucon】EC2上にあるprivate-isuのソースコードをGit管理する
## はじめに
private-isuの付録を解く際に、EC2のサーバ上で操作やファイル編集をしていたんですが、差分の確認や何ページまで進めたのか把握が難しかったり、ちょっとしたタイポやインデントミスも起きやすくて、大変でした。
ISUCON当日もサーバ上で作業するのではなく、**ローカルで編集→サーバ内でpullして反映**という流れが一般的なこと、学習面でもログを見返せたり、便利だと思い、Git管理する方法を調べて実現してみました。その過程をメモとして残したいと思います。ちなみに、private-isuの付録っていうのは、以下の書籍の内容になります。
https://gihyo.jp/book/2022/978-4-297-12846-3
そして、Git管理の方法は以下の記事を参考にしました：
https://isucon-workshop.trap.show/text/chapter-3/0-Github.html
—
## ① private-isuの環境構築
この記事では、すでに**環境構築が終わっている前提**で、Git管理の方法に絞って説明していきます
Amazon ECS(Fargate): Firelensの[FILTER]に、name ecsを設定した場合としない場合のログ形式の違い
# はじめに
Fluent BitのFILTERには、ECSというものがあります。
Amazon ECS(Fargate)からログを出力するときに、FILTERにECSを設定した場合としない場合で、
どのような違いがあるかを調べてみました。https://docs.fluentbit.io/manual/pipeline/filters
# confファイル
今回の検証で使ったconfファイルです。
FILTERをコメントアウトした場合としない場合で、テストしました
“`conf
# Fluent Bit 設定ファイル
[SERVICE]
Flush 5
Grace 30
Log_Level info# #
# [FILTER]
# Name ecs
# Match *# CloudWatch Logs にログを出力
[OUTPUT]
Name cloudwa
S3 署名付きURL
## 背景
Laravelを使用してS3への画像等のファイルをアップロードやダウンロードをしたいというケースが多いと思います。
今回はS3のPrivate Bucketのファイルに対して署名付きURLを発行する方法をご紹介します。## 署名付きURL
個人情報が含まれるファイルをS3で管理する場合、基本的にはPrivate Bucketで管理し外部からのアクセスは禁止します。
署名付きURLとはBucket内のオブジェクトに対して有効期限内に一時的にアクセスできるURLを発行する機能です。
特定のユーザーに紐づく個人情報ファイルを一時的に配布するケースなどで使用出来ます。
>Authorization HTTP ヘッダーを使用する代わりに、必要な情報をクエリ文字列パラメーターとして渡すことで、特定の種類のリクエストを認証できます。これは、サードパーティーのブラウザで、リクエストのプロキシを行わずにプライベートの Amazon S3 データに直接アクセスさせる場合に便利です。これを行うには、「署名付き」のリクエストを作成し、エンドユーザーのブラウザが取得できる URL としてエンコー
AWSとGitHubを組み合わせてCI環境を作成してみた
QAエンジニアとして、学習のためAWSとGitHubを組み合わせたCI環境の構築を実践してみました。本記事では、その手順を共有します。
## 1. GitHubリポジトリの準備
### ステップ 1: GitHubアカウントの作成
1. [GitHubの公式サイト](https://github.com/)にアクセスします。
2. 右上の「Sign up」をクリックします。
3. 必要な情報を入力してアカウントを作成します。### ステップ 2: 新しいリポジトリの作成
1. GitHubにサインインします。
2. 右上の「+」アイコンをクリックし、「New repository」を選択します。
3. リポジトリ名を入力します（例: `ci-project`）。
4. リポジトリの説明を追加します（任意）。
5. 「Public」または「Private」を選択します。※今回は「Public」を指定しています。
– **Public**: 誰でも見ることができる。
– **Private**: 指定したユーザーのみがアクセスできる。
6. 「Initialize th
AWSでKataGo(囲碁AI)を動かす
## 目的
対局の検討をするために、強い囲碁AIが使いたい！
しかし自分のPCは貧弱！ということで、AWSのハイスペックマシンを使ってKataGo（囲碁AI）を実行し、自分のPC上のLizzie（対局ソフト）から利用してみたいと思います。
## 使用するSW/HW
### KataGo
– KataGo: v1.15.3（katago-v1.15.3-trt10.2.0-cuda12.5-linux-x64）
– https://github.com/lightvector/KataGo/releases のうち、最新版を選択
– bs29というのは29路盤用なので使用しない
– ニューラルネット: kata1-b28c512nbt-s7332806912-d4357057652
– https://katagotraining.org/networks の中から、最強のものを選択### バックエンド
パフォーマンス面で優位なTensorRTを利用する（KataGoの[README.md](https://github.com/lightvector/KataGo
Security Jaws CTF writeup
# はじめに
とある海豹とSecurity-JawsというS3のセキュリティに関するイベントに参加してきました。
S3のファイルアップロード時のContent-Typeヘッダを悪用し、任意の種類のファイルをアップロード出来てしまうことから
HTMLファイルをアップロードし、そこからXSSに繋げられるという内容のイベントでした。
以下にイベントのリンクを貼っておきます。https://s-jaws.connpass.com/event/329267/
今回はイベントの中で開催されたS3のファイルアップロードに関するCTFに参加し、7位だったので、解いた問題のwriteupを書こうと思います。
# Writeups
問題は私た解いたものは全て、S3にファイルをアップロードする機能を
【SOA-C02】AWS-SOAに1ヶ月で合格した勉強法
SysOpsに無事合格できたので、勉強方法や感想を述べていこうと思います。
[1.筆者スペック](#1-筆者スペック)
[2.学習に使用したもの](#2-学習に使用したもの)
[3.学習方法](#3-学習方法)
[4.感想](#4-感想)# 1. 筆者スペック
4年目に突入したシステムエンジニア
AWSの実務経験無し# 2.学習に使用したもの
AWS-CLF・SAAの取得
CloudLicense：https://cloud-license.com# 3.学習方法
前提として、CLS・SAA未取得の方は、先にそちらを取得した方がいいかなと思います
### 1週間目
CloudLicenseの#50~100の問題を、答えを見ながら1周して確認する### 2週間目以降
CloudLic
AWS Certified Solutions Architect – Professional 認定試験。。。合格！
## はじめに
お陰様でSAP無事合格しましたー ^^) _旦~~
みっちり4か月間かけて勉強してなんとか合格です。最初はなんのことやらという感じで、勉強時間がいくらあっても足りないような状況でした。## 受験前の状態
SAAを取得した後、業務においてEC2やALBなどといったサービを中心にGlobal AcceleratorやCloudFront、CloudFormationなど触らせていただきました。
SAAの点数はおよそ830点ほどでしたでしょうか、今回のSAPの点数842点とほぼ同じです。https://qiita.com/nikorasu277/items/aa9e0b35f5e79ffcc605
SAAの勉強時間に比べてかけた時間は感覚的に同じくらいかもしれません。つまりSAAを受けずに、いきなりSAPはキツイのかなーと思います。
## 合格のためにしたこと及び使用教材
使用教材はCloudLicenseを中心に取り組み、CloudTechは力試しに使用しました。
CloudTechは、試験1か月前に300問一気に解いて、6-7割くらいの得点で、CloudLic
今日の晩御飯はAIに考えてもらう。
# はじめに
本記事はAngel Dojo カレンダーの21日目の記事です！https://qiita.com/organizations/2024-angel-dojo
# 目標
本記事を作成するにあたり、下記を目標にしました。
**・AngelDojoで身に着けた技術のアウトプットをすること。**:::note info
身に着けたスキル(初めて触れた技術)
・AWS Amplify
・Amazon Bedrock
・AWS Lambda
・AWS AppSync
・React
・TypeScript
・Python(Lambda)
:::**・最新のAI技術に触れること。**
:::note info
今回利用するAI(Bedrock)のモデル
Stability AI(SDL v0.8)：画像生成
Claude 3.5 Sonnet：テキスト生成
:::# アウトプット
技術のアウトプットとして、
「ユーザが入力した情報から、**料理の写真とその料理のレシピ**を出力するアプリ」を1から作ってみます。# 構成とイメージ
【個人開発】ゲーマー同士が一緒に楽しく遊べる人かどうかの判断をサポートするサービスを開発しました！
# はじめに
たつや、と申します。
少し実装しては止めてを繰り返していたサービスをようやくリリースすることができました…！
**MeGU**という名前のサービスです。Me（私）とU（あなた）をG（ゲーム）で繋ぐことをサポートする、という意味があります（Gを間に置くことで繋ぐ的な意味合いにできないかなと）。もっとカッコいい名前にしたかったのですが思いつきませんでした。（読み方は未だに悩んでいます。「メグ」がいいのか「ミーグ」がいいのか他に何かあるのか…。）
**▼ MeGU**
https://meguapp.com/
**▼ 私のページ**
https://meguapp.com/user/709569d4-ff9b-4f01-81b4-e2e20a3c36ef
# 1. 背景
私はゲームが大好きです。週末はリア友やネッ友とよくゲームをしています。
今でこそ固定のメンバーと遊んでいますが、昔は（スカイプチャンネルというサービスで）募集をかけて知らない人と一緒に遊んだりしていました。基本的には楽しく遊べるのですが、私と性格が合わない人（勝ちにこだわったり、敵味方問わず暴言を
「AWS Hands-on for Beginners Serverless #2 AWS SAM を使ってテンプレートからサーバーレスな環境を構築する」をAWS CLIでやってみる
https://pages.awscloud.com/JAPAN-event-OE-Hands-on-for-Beginners-Serverless-2-2022-reg-event.html?trk=aws_introduction_page
上記、「AWS Hands-on for Beginners Serverless #2 AWS SAM を使ってテンプレートからサーバーレスな環境を構築する」 をAWS CLIでやってみる
ハンズオンから引用:::note alert
Cloud9は新規利用できなくなりました。
今まで利用したことがあるアカウントはまだ利用できるようです。
:::# 03 Cloud9 のセットアップ + [Option] Cloud9 で簡単な Lambda 関数を作成する
## 変数
“`bash:
AWS DEA勉強で学んだことメモ
### :sunny: AWS Certified Data Engineer – Associate 認定の勉強で個人的に初めて知った用語や分かりやすかったサイトなどをまとめています
—
* ### RedShiftワークロード管理（WLM）
**ResShiftがクエリに対してどのようにリソース（メモリ/CPU/IO）を割り当てるかを決定づける仕組みのこと**そもそも…
ロングクエリ（実行に長時間かかるクエリ）があるとクラスター全体に影響が出る:thought_balloon:イメージ
そこで…！
WLMで複数のクエリキューを用意しておき、各キューに対してリソース（メモリの割合や並列度など）を割り当て優先度を定義することで、ロングクエリでクラスタリソースを無駄遣いしないようにすることができるhttps://qii
