- 1. AWS Snowballを真剣に考えてみる #なぜSnowballを使うのか？
- 2. WP Offlaod Media Lite S3で画像アップロードが出来なかった…。
- 3. 【AWS SageMaker】Notebookインスタンスにて組み込みアルゴリズムのLDAを使ってモデル開発～学習～デプロイを行ってみた
- 4. 【AWS】APIGatewayに Cognitoのオーソライザーを付けて、リクエストを制限する
- 5. Auroraのストレージについて
- 6. AWSCodeBuildの速度改善結果をドヤ顔で魅せるための可視化ツール自作した話
- 7. [2024年版] DatabricksにおけるAWS PrivateLinkのバックエンド接続の設定(実践編)
- 8. スタートアップ/自社開発企業のWeb&データインフラ基盤でありそうな構成
- 9. AWSのWindowsインスタンスでAMIを作る時はSysprepを忘れずに
- 10. Amazon Cognitoの認証をSDKにより連携する
- 11. 取得したAWS認定資格が古くなっているかどうかの確認
- 12. AWS EC2を停止してAMIを作成したときにステータス「保留」でも、EC2は起動していい
- 13. AWS Systems Manager for SAP
- 14. AWS S3にセキュアな方法でファイルをアップロードする
- 15. SULETOTO
- 16. Amazon Bedrock で Advanced RAG を実装する上での Tips
- 17. [AWS-IAM] Cognito User Poolについて
- 18. Inspector から Security Hub に統合した脆弱性通知について考える
- 19. AzureとAWSのオブジェクトストレージ比較
- 20. AWS認定ソリューションアーキテクト-プロフェッショナル(SAP-C02)雑感
AWS Snowballを真剣に考えてみる #なぜSnowballを使うのか？
# はじめに
データ移行の観点で、AWSには他のクラウドにはない特徴的なサービスがある。AWS Snowballである。
AWSから送られてくるストレージ媒体にデータを格納し、AWSへ返送すればAWSクラウドストレージにデータが格納される（格納してくれる）。AWSサービスにおいて物理機材が利用者に見える数少ないサービスだ。
今回はこの AWS Snowballでのデータ移行についてちょっと真剣に考えてみた。# AWS Snowballの概略
AWS Snowballは、AWS Snowファミリーデバイス群からなっており様々なモデルが用意されている。今回は特に断りがなければSnowball Edge Storage Optimizedを指していると思ってもらいたい。
写真：Snowball Edge筐体 参考：[AWS Snowball Ed
WP Offlaod Media Lite S3で画像アップロードが出来なかった…。
# WP Offlaod Media Lite S3で画像アップロードが出来なかった…。 ~php-gd~
AWS初心者向けのハンズオン形式の講座で、WordPress上の画像をS3に保存する処理がありましたが、どういうわけだかS3にアップロードできませんでした。
「AWS：ゼロから実践するAmazon Web Services。手を動かしながらインフラの基礎を習得」
~~蛇足：AWSのコンソールやWP Offload Mediaの設定画面がハンズオン動画と異なるので苦労します…。~~
https://www.udemy.com/share/101Yby3@7BjNdcYUfFZEZkJbOQ2PFRKD2znhh2E07weMeqSegaewGTSl6u29J1MBsfp7HyIBPw==/以下の投稿を参考に見直したところ、php関連パッケージのインストールで不足分が判明しました…。
https://qiita.com/kyusyu_syoyu/items/a1c183e4afb59788a67a
## php-gd
結論、
【AWS SageMaker】Notebookインスタンスにて組み込みアルゴリズムのLDAを使ってモデル開発～学習～デプロイを行ってみた
# 背景
AWS SageMakerを勉強していると、SageMakerで機械学習モデルを実装する場合、大きくは3通りの方法がありそうです。– SageMakerの組み込みアルゴリズムを使って実装する
– TensorFlowやPyTorchなどで自作したコードを使って実装する
– TensorFlowやPyTorchなど以外で自作したコードを使って実装する1つ目の方法は、SageMakerには既に複数のアルゴリズムが組み込まれていて、Pythonのクラスからのインスタンス化のような感じで、それらのアルゴリズムを使えて、それを使って機械学習モデルを実装します。
https://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/algos.html
2つ目の方法は、TensorFlowやPyTorchなどで自作した機械学習モデルのコードを使って、SageMakerに機械学習モデルを実装します。
3つ目の方法は、TensorFlowやPyTorchなど以外で自作した機械学習モデルのコードを使って、SageMakerに機械学習モデルを実
【AWS】APIGatewayに Cognitoのオーソライザーを付けて、リクエストを制限する
フロントエンドで認証を付ける際、Amplifyライブラリを使用して、CognitoでAuth0認証を付けることがあると思うが、Cognitoでjwt Tokenを受け取り、APIGatewayで認証を付ける方法を紹介する。
1. APIGatewayのコンソール画面を開く
1. 修正したいAPIを開く
1. 左メニューのオーソライザーを開く
1. オーソライザーを作成を押す
1. オーソライザー名を入力する
1. オーソライザーのタイプをCognitoにする
1. Cognito ユーザープールを選択する
1. トークンのソースにAuthorizationと入力する
 に公開した記事を加筆/修正したものです。
### 見た目
以前こちらを書きましたが、いかんせん3年前のものなのでもう一度ウォークスルーします。
https://qiita.com/taka_yayoi/items/1ca54463469df05dd3ee
:::note info
**注意**
ここでは基本的な構成でのウォークスルーを行っています。ご自身のネットワーク要件に基づいて適宜変更してください。
:::当時は日本語マニュアルもありませんでした。
https://docs.databricks.com/ja/security/network/classic/privatelink.html
# 事前の検討事項
– **構成** どれを選ぶべきかに関しては[こちら](https://qiita.com/taka_yayoi/items/7abe6fa94cd89e12ba6e)を参考にしてください。
1. バックエンドのみ
1. バックエンド+フロントエンド
1. バックエンド+フロントエンド+公衆回線からのアクセスをシャットダウン
– **クラスターから外部へのアクセスを許可するかどうか**
–
スタートアップ/自社開発企業のWeb&データインフラ基盤でありそうな構成
# はじめに
スタートアップや自社開発企業でインフラ環境を0から構築する際、よくある構成を列挙してみました。
※この記事は個人の見解に基づいています。もし偏見があるように感じられたら、申し訳ございません。
※クラウドは、AWS前提とさせてください。# 全体構成図
ざっくり、こんな感じかなと思いました。
# 環境構成
dev, prod用のAWSアカウントが必要なので、二つあるといいかなと思いました。
理想は、金銭的に余裕があればですが、stg用のアカウントも欲しいです。# IaC
Terraformが使いやすく、いいかなと思いました。
手動で実行した方が早いので、スキルさえあればそんなにヒューマンエラーが発生するものでもないです。
そのため、最初のうちは無理してGitHub Actions
AWSのWindowsインスタンスでAMIを作る時はSysprepを忘れずに
## 経緯
使用ライブラリの都合上、Windowsインスタンスを利用していました。環境構築が終わり、カスタムAMIを作ったところ、このAMIを使って起動したインスタンスにFleetManagerのキーペアを指定して接続できなくなりました。
結論から言うと、WindowsインスタンスからAMIを作るときにはSysprepを使用してからAMIを作る必要がありました。## 環境と前提
– WindowsServer 2016 （環境古いです。。）
– SessionManagerの設定が済んでいること
– FleetManagerのキーペアで接続できるようにインスタンスにIAMとキーペアが指定されていること## 手順
### AMIを作る前にsysprepでインスタンスを停止する
AMIを作りたいインスタンスに接続し、 EC2 Launch Settings を開きます。
ので、自分の取得資格を棚卸しようと思う。
– 試験バージョンが上がった資格を確認しようと思ったら、試験ダッシュボードが切り替わっていたので見方がわからなくてサイト内を探した。
– 他にいい方法あれば教えてください。。。(昔のダッシュボードだと見えた気が。。。)# 見方
– 資格ページのDashBoard上のお知らせ欄の中から”Manage my Peason Vue Account”を選択
– Peason Vueの画面右から”Exam History”を選択
LINK DAFTAR : https://bio.site/suletoto
LINK LOGIN : https://sleekbio.com/suletoto
LINK ALTENATIF : https://biolinky.co/suletoto
Amazon Bedrock で Advanced RAG を実装する上での Tips
## はじめに
株式会社 NTT データ デザイン＆テクノロジーコンサルティング事業本部の [@ren8k](https://qiita.com/ren8k) です。2024/05/01 に，「[Amazon Kendra と Amazon Bedrock で構成した RAG システムに対する Advanced RAG 手法の精度寄与検証](https://aws.amazon.com/jp/blogs/news/verifying-the-accuracy-contribution-of-advanced-rag-methods-on-rag-systems-built-with-amazon-kendra-and-amazon-bedrock/)」という先進的で素晴らしい AWS 公式ブログが公開されました．
https://aws.amazon.com/jp/blogs/news/verifying-the-accuracy-contribution-of-advanced-rag-methods-on-rag-systems-bui
[AWS-IAM] Cognito User Poolについて
キムです。
約1年ぶりに技術ブログ投稿を再開しました！
不自然な日本語が出てくるかもしれませんが、その時はコメントで指摘いただければ大変助かります。—
#### AWS Cognito
→
簡単に言えば、AWSサービスを外部サイト（Facebook、Appleなど）の他社サービスと会員登録またはログインを連携させるサービスです。
※User Login ID(Token)でユーザログインを連携させるのと同じ概念。Cognitoは「ユーザプール」と「ID プールでの認証」の仕組
—
顧客が Amazon Cognito ユーザープールにサインインすると、アプリケーションは JSON ウェブトークン (JWTsを受け取ります。
ユーザーがユーザープールトークンまたは別のプロバイダーを使用して ID プールにサインインすると、アプリケーションは一時的な AWS 認証情報を受け取ります。
ユーザープールのサインインを使用すると、 AWS SDK を使用して認証と認可を完全に実装できます。 独自のユーザーインターフェイス (UI) コンポーネントを構築しない場合は、構築済
Inspector から Security Hub に統合した脆弱性通知について考える
# やりたいこと
以下のページで紹介されている改善後の構成で、
1. 脆弱性が検出されると EventBridge から Lambda1 を起動し、DynamoDB に脆弱性情報を格納する。この時 DynamoDB の パーティションキーとソートキーで重複をチェックし、既にレコードが存在する場合はスキップし、レコードが存在しない場合は DynamoDB に格納する
2. EventBridge Scheduler で 1 日に 1 回だけLambda２ を起動し、DynamoDB から、まだ通知が行われていない脆弱性を取得し Slack へ通知する。Slack への通知が完了すると DynamoDB に格納されている脆弱性のステータスを NEW ⇨ NOTIFIED に更新する
この 2 つを行う。
https://note
AzureとAWSのオブジェクトストレージ比較
AWSの資格勉強で気になったので整理してみました。
## アベイラビリティゾーン(AZ)の使用数
### Azure Blob Storage
複数AZを使用することが可能（ZRS, GZRS等の使用時）です。
ちなみにAzureでゾーン冗長のストレージがGAしたのは2020年6月で、それまではリージョン冗長しか選べませんでした。
https://azure.microsoft.com/ja-jp/updates/storage-gzrs-ga/
AWSは2006年のサービス開始当初から複数のAZに保存する構成をとっています。
### AWS S3
基本的に複数AZ利用です。
`S3 1 ゾーン–IA` の選択時は単一のAZに保管します。
## 料金削減のためのオプション
### Azure Blob Storage
`ホットアクセス層`、`クールアクセス層`、`コールドアクセス層`、`アーカイブアクセス層` があり、層を移していくことでストレージコストを安く保つ代わりにアクセスコストが増加します。
### AWS S3
`S3標準-IA`、`S3 Glac
AWS認定ソリューションアーキテクト-プロフェッショナル(SAP-C02)雑感
# 概要
AWS認定ソリューションアーキテクト-プロフェッショナル(SAP-C02)に2024年5月に合格することができました。スコアは772点で、合格ギリギリでしたが、プロフェッショナルの称号を手に入れたことに大満足してます(^^)。
本記事では、その学習の考え方や試験対策についての雑感を共有します。特に、私のような非エンタープライズ環境で働くエンジニアに向けて参考になれば幸いです。私が従事している業務内容ではこんな感じだったよ、という主観なので自分語り多めですが、ご自身の業務経験と比較しながら読んでいただけると多少は参考になるかも。
# 私について
実験系の大型施設で働いており、Web系を中心にプログラム開発やインフラ整備などを好きなようにやらせてもらってます。アカデミック界隈にいて、最近は開発とか広報系業務が多いです。いわゆる一人SEな感じで、いろいろ首をつっこませてもらい遊んでいます。
クラウド関係ではAWSが圧倒的に使いやすいので、AWSが中心です。開発のネタを見つけたり持ち込まれた場合、選定から実装、運用などをやっています。私の開発規模では、SAPの内容は業務とは
