AWS関連のことを調べてみた

aws s3 でワイルドカードでダウンロードする方法

memo

aws s3 sync s3://yourbacket . –exclude “*” –include “filetype” –profile env

【re.Invent 2023】[NEW LAUNCH] EC2のReserve GPUの話を聞いてきた

re.Invent 2023 の、「Reserve GPU capacity with Amazon EC2 Capacity Blocks for ML」というセッションを受けたので、まとめておきます。（英語のリスニングが得意ではないので間違った解釈が入っているかもしれません。都度修正します）

# Capacity Blocks とは
Capacity Blocksは、機械学習（ML）ワークロードに特化したリソース予約システムで、高性能なGPUインスタンスを将来の特定の日に予約して、機械学習（ML）作業に利用することができます。↓の赤枠が今回追加されたやつですね。


コンソール↓（リージョンはオハイオだけ？？そう言ってた気がする・・・）

![スクリーンショット 2023-11-27 18.45.17.png]

AWS Step FunctionsとAmazon Event Bridgeを使って、プログラムコードを書かずにStripeと連携する

2023年11月26日に、AWSがStep Functionsから外部のHTTPS APIをよびだせるようになったとのアナウンスがありました。

https://aws.amazon.com/jp/about-aws/whats-new/2023/11/aws-step-functions-https-endpoints-teststate-api/

ユースケースなどを紹介するブログに、Stripeが紹介されおり、SNSでも「Stripeと連携できる」と話題になっていました。

https://aws.amazon.com/jp/blogs/aws/external-endpoints-and-testing-of-task-states-now-available-in-aws-step-functions/

やば
Lambdaなしで外のAPIが叩けるように
Stripeが例になってる
やばいhttps://t.co/8Hy3ed2Ghb

— 三浦一樹 (@miu_crescent) November 27, 2023

## Stripeと連携するワークフローを手軽に試す

この機能とStripe連携を簡単に試すには、Step Functionsのテンプレートを利用しま

ApiGatewayで出来る事をまとめてみた

AWS Certified Developer – Associateを勉強中にAPI Gatewayめっちゃ多機能やん…と思い始めたので出来ることをまとめてみます。

公式ドキュメント
– [Amazon API Gateway Documentation](https://docs.aws.amazon.com/apigateway/index.html)

## API Gateway＋lambdaでサーバーレス環境作成

まずは誰もが通るであろう鉄板構成です
REST APIなどすぐ作れて便利です

– [API Gatewayとlambdaを使ってみる](https://qiita.com/miyuki_samitani/items/f01f1bd49334f97fe84c)

## API Gateway＋AWSサービス

lambdaと連携させなくても、直接AWSサービスを呼ぶことも可能

– [API ゲートウェイを使用して Amazon S3 に画像や PDF ファイルをアップロードするには、どうすればよいですか?](https://repost.aws/ja/kno

AWS Console-to-Code 新機能を利用しました。

2023年11/26 AWS はAWS Console-to-Codeがプレビュー中であることを発表しました。AWS Console-to-Codeは、コンソールで実行されたアクションを選択した言語で再利用可能なコードに変換することができています。AWS Console-to-Codeは、アクションとワークフローを自動的にキャプチャし、わずかなクリックでそれに対するコードを生成します。ユーザーはこれらのコードスニペットをCloudFormation、CDKなど、希望する形式で生成できます。

https://aws.amazon.com/jp/about-aws/whats-new/2023/11/aws-console-to-code-preview-generate-console-actions/

# Console-to-Codeの利用について

現在、AWS Console-to-Codeはバージニア北部（us-east-1）のEC2コンソールのみで提供されています。

以下の形式であれば、Console-to-Codeを使用してコード変換が可能なようです。

・CDK
J

[LINE BOT]Webhook URLに何を設定すべきなのかでつまづいた

## 概要
line botを作成するために、Messaging APIを使おうとしたが、
｢Webhook URL｣に何を入力するのかわからなかった

## 実行していた手順

AWSを活用してLINEチャットボットを作ってみた！①

## つまづいた箇所
Console内の、Messaging API設定タブの、Webhook設定
まずここに何を入力すべきなのかわからない

## Copilotにきく

[質問]Messaging APIで、Webhook URLには何を入力すればいいですか？
“`
Webhook URLは環境のURLそのものになります。
例えば、環境のURLが http://example.com で、
プロセスのパスが/webhookの場合、
Webhook URLは http://exampl

Python boto3を使ってS3からオブジェクトの一覧を取得する

今回はboto3でAWSを操作する最初の１歩ということでs3からオブジェクトの一覧を取得するまでやっていこうと思います。
前提としてPythonはインストール済みということで解説していきます。

# boto3の使い方

他のライブラリと同じくインストールが必要です。コマンドプロンプトでインストールします。
“`python3:ライブラリインストール
pip3 install boto3
“`
AWSリソースへアクセスするためにアクセスキー、シークレットアクセスキーが必要になります。
今回はAWSCLIがインストールされているため aws configureコマンドで設定しています。

これでインストールができたので、boto3を呼び出して記述していくだけです。

## boto3の記述方法

boto3の呼び出し方は以下の通りです。基本は以下の３つのステップになります。
１インポート
２クライアント、リソースオブジェクトの作成
３利用したいファンクションの呼び出し

### インポート
インポートは以下の様に記述します。
“`python:boto3インポート
impo

AWS API Gateway

## 制限
– 29秒のタイムアウト(lambdaが15分でもこっちがダメになるケースに注意)
– 最大10MBペイロードサイズ
– S3の前にAPI GWをおいてアップロードしようとする場合に注意。10MB以上をアップロードしたいならlambdaを挟んでpre-signed URLを返すようにするとよい

## Stage
– Stage単位でデプロイする。クライアントはstageに対してリクエストを行う
– ロールバック可能

## Endpoint
– Edge-Optimized(default):
– CloudFrontを経由してリクエスト
– API GWは1つのリージョンのみに存在
– Regional
– cache(backendへの呼び出しを減らす)やより細かく配信したい場合用。
– クライアントから直接REST APIにリクエストが届く。そのためEdgeよりレイテンシが低くなることもあるようだ。
– CloudFront

AWS Nitro Enclaves 試してみた

AWS Nitro Enclaves を試してみました.
※ https://aws.amazon.com/jp/ec2/nitro/nitro-enclaves/

# やってみる

まずは, Nitro Enclaves を有効化した EC2 インスタンスを作成します.

“`yaml
InstanceKeyPair:
Type: AWS::EC2::KeyPair
Properties:
KeyName: aws-nitro-enclave-test-instance-key-pair
KeyType: rsa
KeyFormat: pem

Instance:
Type: AWS::EC2::Instance
Properties:
ImageId: ami-070bc45386687dd29 # Amazon Linux 2 LTS Arm64 Kernel 5.10 AMI 2.0.20231101.0 arm64 HVM gp2
InstanceType: m6g.lar

Amazon Rekognition による「顔からの同一人物判定」をブラウザから試す

## はじめに

AWS は様々な AI サービスを提供しています

そして、それらのサービスはブラウザから簡単に試せるようになっています

https://aws.amazon.com/jp/free/machine-learning/

| サービス | 機能 | お試し記事 |
|:————|:————————-|:—————-|
| Transcribe |音声の文字起こし（音声認識）| [参照](https://qiita.com/RyoWakabayashi/private/396e2047d377e258950f) |
| Polly |文書の読み上げ（音声合成） | Coming Soon… |
| Lex |チャットボット | Coming Soon… |
| Translate |翻訳 | Coming Soon… |
| R

Amazon Rekognition による「画像からの物体検出、テキスト検出」をブラウザから試す

## はじめに

AWS は様々な AI サービスを提供しています

そして、それらのサービスはブラウザから簡単に試せるようになっています

https://aws.amazon.com/jp/free/machine-learning/

| サービス | 機能 | お試し記事 |
|:————|:————————-|:—————-|
| Transcribe |音声の文字起こし（音声認識）| [参照](https://qiita.com/RyoWakabayashi/private/396e2047d377e258950f) |
| Polly |文書の読み上げ（音声合成） | Coming Soon… |
| Lex |チャットボット | Coming Soon… |
| Translate |翻訳 | Coming Soon… |
| R

Amazon Transcribe による「音声の文字起こし」をブラウザから試す

## はじめに

AWS は様々な AI サービスを提供しています

そして、それらのサービスはブラウザから簡単に試せるようになっています

https://aws.amazon.com/jp/free/machine-learning/

| サービス | 機能 | お試し記事 |
|:————|:————————-|:—————-|
| Transcribe |音声の文字起こし（音声認識）| [参照](https://qiita.com/RyoWakabayashi/private/396e2047d377e258950f) |
| Polly |文書の読み上げ（音声合成） | Coming Soon… |
| Lex |チャットボット | Coming Soon… |
| Translate |翻訳 | Coming Soon… |
| R

Amazon ElastiCacheの耐障害性を考える

# はじめに
この記事はDevOps on AWS大全の一部です。
DevOps on AWS大全の一覧は[こちら](https://qiita.com/tech4anyone/items/b06f88035d27c6ef13b2)。

この記事ではAmazon ElastiCacheを耐障害性の観点から超詳細解説しています。

具体的には以下流れで説明します。

– Amazon ElastiCacheとは
– Amazon ElastiCacheのスケーラビリティ
– Amazon ElastiCacheのディザスタリカバリ
– Amazon ElastiCache for RedisとAmazon ElastiCache for Memcachedの比較

AWSの区分でいう「Level 200：トピックの入門知識を持っていることを前提に、ベストプラクティス、サービス機能を解説するレベル」の内容です。

# この記事を読んでほしい人
– Amazon ElastiCacheを採用するときのベストプラクティスを説明できるようになりたい人
– Amazon ElastiCacheの耐

【AWS re:Invent 2023 】朝5時に起きてヨガ体験してきた

# はじめに

re:Inventが本日から開催されています！
自身のスキルアップや、最新情報を入手できるだけでなくネットワーキングも活発に行われるre:Inventで、多くの参加者と交流し、日本に持ち帰れる多くの知見や経験を吸収したいとおもいます:sunglasses:

一部のセッションはオンラインでの視聴も可能です。詳細は公式サイトをご確認ください。

https://reinvent.awsevents.com/

# 朝から会場前には長蛇の列
5時に起きて、ホテルを出たのは5時45分ごろで、まだ薄暗い中を会場に向かいました。
街中にはあまり人がいませんが、すでにランニングをしている方々を多く見かけ、朝型の生活に羨望の眼差しを向けました:sleepy:


ヨガセッ

Amazon EFS の料金ページを読んで勘違いした話

Amazon EFSのライフサイクル管理の機能を東京リージョンで使おうとした際に、AWSのPricingページを確認したところ下記の表記となっていました。


2023年11月現在、ライフ細部管理を利用したファイルシステムの効果的なストレージ料金（一部リージョン）と記載されており。

この一覧の中にリージョンの中に東京リージョンは記載されていませんでした。

この一覧を見て、東京リージョン使えるはずだけど？　なんで記載がないんだ？

と疑問に思い調べました。

[Amazon EFS 低頻度アクセスの料金値下げで、ストレージ費用を最適化](https://aws.amazon.com/jp/blogs/news/optimize-storage-cost-with-reduced-pricing-for-amazon-efs-infrequen

【AWS re:Invent 2023 】認定者ラウンジに行ってみた。

# はじめに
2023年11月27日から AWS re:Invent 2023 が開催されました！
基調講演で未来の話を聞き、新サービスの発表、活用事例のセッションを聞き、自身のスキルを向上、ビジネスのヒントを得る貴重な機会と言えます:fist:

# re:Invent では1日3セッションが限界説
2000を超えるセッションを可能な限り聴講したい、と思ってもそのセッションが別のホテルの場合、シャトルバスなどの手段で長距離を移動する必要があり、聴講は1日3セッションが限界と言われています。


移動する手段はあるものの、慣れない異国の地、かつ英語でのキャッチアップ、Game Day に参加して自分の出来なさっぷりに打ちひしがれた場合、認定者ラウンジに行くのがオススメです。

大丈夫です、少しくらいゆっくりしても学びの場はまだまだ続きます。

StepFunctionsから外部APIを叩く機能が追加されたので、Slackに投稿してみる

StepFunctionに嬉しいアップデートが来ました！
[External endpoints and testing of task states now available in AWS Step Functions](https://aws.amazon.com/jp/blogs/aws/external-endpoints-and-testing-of-task-states-now-available-in-aws-step-functions/)

– 外部APIを叩けるようになった
– ステート単体でのテストができるようになった

の二本立てですが、この記事では前者の外部APIを叩くというところを試しています。

外部APIを叩けるとなると、真っ先にやりたいのはSlackへの投稿と相場が決まっています。
これでSlackに投稿するためのLambdaを書かなくていい！！

## やってみた
StepFunctionsのコンソールから新しいステートマシンを作成します。
「http」でステートを検索してみると、「Call thir-party API」がありました。これです！

【AWS】AWS re:Invent 2023 初日のアップデートをまとめてみた

## はじめに

この記事はre:Invent 2023初日のアップデートをまとめていく記事です。

https://twitter.com/shimagaji さんのツイートをまとめました。

[GitHub](https://github.com/ymd65536/reInvent2023)にもあります。

## AWS Black Belt Online Seminar 2023 年 AWS re:Invent 速報

[AWS Black Belt Online Seminar 2023 年 AWS re:Invent 速報](https://aws.amazon.com/jp/events/?events-japan-cards-feature.sort-by=item.additionalFields.sortDateTime&events-japan-cards-feature.sort-order=asc&events-japan-cards.sort-by=item.additionalFields.sortDateTime&events-japan-cards.so

【Amazon Kendra】Web Crawler connector v2.0で追加されたField Mappingの使い方

Amazon Kendraのデータソースである「Web Crawler connector v2.0」(以下Crawler v2)より追加された機能のうちの一つとして「Field Mapping」があります。

# できること
– HTML内の任意のmetaタグを取得し、Index Fieldとして登録、利用が可能になります。
– 作成するのはデータソース作成時ですが、作成と同時にインデックスの「Facet definition」から確認できる「Index Field」にも作成されます。
– 作成した「Index Field」は名前とデータ型を**削除も変更もできない**ので注意（2023/11/28時点）

以下の設定で“`sample_string_site.html“`をクロールした場合、Index FieldでField Name「Servise」にString型の値「Amazon Kendra」が登録されます。
– KendraのCrawler v2作成または変更画面からStep 4.「Set fi

ジョブネットを想定して AWS Step Functions の再実行パターンを試してみた（２）集中と分散編

AWS Step Functions で再実行ができるようになったので、前回のシンプル編に引き続き、ジョブネットのエラー対応をどれだけ実現できるか試してみます。

https://qiita.com/yki/items/a3bffa39f4bed5cdd0fb

# 想定するジョブネット

今回はジョブが選択と分岐の形状と想定をして実験してみます。今回は**ジョブ２－２**と**ジョブ４－２**がそれぞれ異常終了したときの挙動を確認します。また、異常終了したジョブと並行して実行されるジョブ（ジョブ２－１や４－１）の**完了タイミングが、異常終了の前になるか後になるかで多少の挙動の違い**があるためそこも実験していきます。


# 実装の概要
前回と同じくaws-samples の [amazon-stepfunctions-ssm-waitfo