- 1. QuickSightのデータセットの更新をStep Functionsでノーコードで出来るようになった話
- 2. IAMロールを使って、別アカウントに権限を移譲する
- 3. Athenaでのcloudtrailログ用のテーブル作成
- 4. CloudFront の OAC 機能
- 5. AWS 各種サービス一覧
- 6. 私のPyAthena、遅すぎ…？
- 7. 1週間で「SAP on AWS – Specialty」を取得したのでポイントと勉強方法をまとめる
- 8. Windows10でAWS “sam init” コマンドがPermission Errorになるとき
- 9. 【AWS】EC2からRDS内のMySQLにログインする方法
- 10. [小ネタ] Cognitoを使用してS3アクセスする際、AWS.CognitoIdentityCredentialsのidentityIdの取得にはまった話。
- 11. WindowsでのAWS CLIセットアップ手順、タブ補完の有効化手順と注意点
- 12. AWSSAAを合格してやらなくてよかったこと3選
- 13. AWS LambdaでStableDiffusionを動かしたい
- 14. SSM Agentの実行スクリプトを削除する方法
- 15. 【AWS】【Salesforce】CTI AdapterにSSOの設定を適用する方法
- 16. AWS OpenSearch Dashboard REST API
- 17. AWS Organizationsのサービスコントロールポリシーの設定テストをしてみた
- 18. 他のAWSサービスやエンドポイントサービスと接続
- 19. セキュリティグループとネットワークACL
- 20. AWS Certified Developer – Associate 試験 (DVA-C01) 合格体験記
QuickSightのデータセットの更新をStep Functionsでノーコードで出来るようになった話
# はじめに
先日、AWS Step Functionsで使える組み込み関数が増えました。https://dev.classmethod.jp/articles/aws-step-functions-14-new-intrinsic-features-process-data-workflows/
https://aws.amazon.com/jp/about-aws/whats-new/2022/08/aws-step-functions-14-new-intrinsic-features-process-data-workflows/
以前、「Step FunctionsでQuickSightのデータセット更新を行う際、ランダム文字列が必要でLambdaを使う必要がある」という内容の記事を書きました。
https://qiita.com/a_b_/items/2adee15fc693307f95da
今回のアップデートで追加された組み込み関数を用いることで、ノーコードでStep FunctionsからQuickSightを更新できるようになりました。
# やったこと
IAMロールを使って、別アカウントに権限を移譲する
# 別アカウントに権限を移譲するためのIAMロールを作成する
AWSマネジメントコンソールにログインしてください。
IAMダッシュボードのロールをクリックしてください。
ロールページが表示されます。
[ロールを作成]をクリックしてください。
信頼されたエンティティタを選択ページが表示れます。
信頼されたエンティティタイプで、[AWSアカウント]をチェックしてください。
AWSアカウントで、[別のAWSアカウント]をチェ
Athenaでのcloudtrailログ用のテーブル作成
cloudtrail ログの Athena 分析を行う場合は、通常ドキュメントに記載の通りテーブルを作成すれば良い。
https://docs.aws.amazon.com/ja_jp/athena/latest/ug/cloudtrail-logs.html#create-cloudtrail-table-partition-projection
“`
CREATE EXTERNAL TABLE cloudtrail_logs_pp(
eventVersion STRING,
userIdentity STRUCT< type: STRING, principalId: STRING, arn: STRING, accountId: STRING, invokedBy: STRING, accessKeyId: STRING, userName: STRING, sessionContext: STRUCT< a
CloudFront の OAC 機能
# 概要
S3 で公開しているコンテンツを、CloudFront からのアクセスのみに制限するには **[OAI](https://docs.aws.amazon.com/ja_jp/AmazonCloudFront/latest/DeveloperGuide/private-content-restricting-access-to-s3.html)** という機能で実現していました。
ざっくり言うと、セキュリティ面が強化され、以下の点が強化されたようです。
– AWS Signature Version 4（SigV4）
– SSE-KMShttps://aws.amazon.com/jp/blogs/news/amazon-cloudfront-introduces-origin-access-control-oac/
# SigV4
1. クライアントが CloudFront に HTTP または HTTPS のリクエストを送信する。
2. CloudFront のエッジロケーションはリクエストを受信する。
リクエストされたオブジェクトがまだキャッシュさ
AWS 各種サービス一覧
## AWS インスタンス一覧
### AWS GPUインスタンス一覧
ひとまず、g4dn (NVIDIA T4) の一覧です。
（スポットインスタンスの料金も付けてます）|インスタンス|vCPU|メモリ|GPU|$/1H|$/月|$/H
(spot)|$/月
(spot)|
|-|-|-|-|-|-|-|-|
|g4dn.xlarge|4|16 GiB|T4 x 1|0.710|511|0.213|153|
|g4dn.2xlarge|8|32 GiB|T4 x 1|1.015|730|0.3045|219|
|g4dn.4xlarge|16|64 GiB|T4 x 1|1.625|1,170|0.4875|351|
|g4dn.8xlarge|32|128 GiB|T4 x 1|2.938|2,115|0.8814|635|
|g4dn.12xlarge|48|192 GiB|__T4 x 4__|5.281|3,802|1.5843|1,141|
|g4dn.16xlarge|64|256 GiB|T4 x 1|5.875|4,230|1.7625|1,269
私のPyAthena、遅すぎ…？
## はじめに
PyAthenaを使用して、Pandas.DataFrameにデータを展開する場合に速度が遅くて困ったことはありませんか？
もしかしたら、PyAthenaの使い方を見直すことで改善することができるかもしれませんよ！
私がPyAthenaの速度改善するために調べたことをまとめたいと思います。## PyAthena
PyAthenaは、PythonからAmazon Athenaを使用するためのPython Clientになります。
PyAthenaを使用して、Pandas.DataFrameにデータを展開する方法は複数あり、使い方によって速度に大きな差が出る場合があります。https://pypi.org/project/pyathena/
## 使い方
PyAthenaを使用してPandas.DataFrameにデータを展開する方法を3つ紹介したいと思います。① Pandas : read_sql_query
② PyAthena : PandasCursor
③ PyAthena : AsyncPandasCursorPyAthenaの使い方で調
1週間で「SAP on AWS – Specialty」を取得したのでポイントと勉強方法をまとめる
# 内容
今年追加された“`AWS Certified: SAP on AWS – Specialty (PAS-C01)“`については、興味があるもののSAPを全く触ったことがないため、どのように勉強していいか分からない状態でした。ポイントを掴めばSAP未経験でも1週間程度で取得出来ましたのでポイントと勉強方法について記載します。
なお、1週間で取得しましたが、その週の日曜はフルで勉強、月～金は5時起きで業務前に勉強とそれなりに勉強時間は確保しました。※他のAWS資格11種類は取得済みです。# あると理解しやすい知識
* EC2,VPCを中心としたAWSの基礎知識
* SAP以外でもパッケージ製品の導入、運用経験
* Linux、ネットワーク、データベースなどのインフラ知識# ポイント1:マネージドサービスではなくEC2
まず[SAP on AWS 技術文書](https://docs.aws.amazon.com/ja_jp/sap/latest/general/overview-sap-planning.html)から引用させて頂きました下記構成図を参照下さい。
!
Windows10でAWS “sam init” コマンドがPermission Errorになるとき
## 以下の手順で直りました。
1\. Open Registry Editor (regedit.exe).
2\. Navigate to Computer\HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\FileSystem
3\. Set LongPathsEnabled to 1.[Permissions Error: Unstable state when updating repo](https://issuehint.com/issue/aws/aws-sam-cli/3479#121495657)
[パスの最大長の制限](https://docs.microsoft.com/ja-jp/windows/win32/fileio/maximum-file-path-limitation?tabs=cmd)【エラーメッセージ】
Error: Unstable state when updating repo. Check that you have permissions to create/delete
【AWS】EC2からRDS内のMySQLにログインする方法
### EC2からRDSのMySQLにログイン
EC2からRDS内のMySQLにログインする場合、エンドポイントの指定が必要。“`
mysql -h エンドポイント -u ユーザー -p
“`
### mysqldumpを使用する場合
dumpデータの出力なども同じくエンドポイントを指定する。“`
mysqldump -h エンドポイント -u ユーザー -p DB名 > ファイル名
“`
[小ネタ] Cognitoを使用してS3アクセスする際、AWS.CognitoIdentityCredentialsのidentityIdの取得にはまった話。
# 背景
結構前の自分の記事でCognitoのIDプールでユーザー毎フォルダにアクセスしていました。最近、このプロジェクトをVue2からVue3に移行したり、TypeScriptに変えたり、ログイン画面でAmplifyUIコンポーネントを使うように移行したりしました。
https://qiita.com/silverbox/items/7a7ef64401e15f62ee52
今回はTypeScriptの移行ではまった部分があり、原因と解消方法はシンプルだったのですが、なかなかそれらしき記事が無く時間かかってしまったので、同じ現象にはまっている方の手助けになればと思って小ネタ記事を書いてみます。
# エラー発生個所と解消方法
S3にアクセスする際、ユーザー毎のフォルダ制限はRoleにおいて`identityId`で指定します。
移行前のjavaScriptのソースは以下の感じです。“`javascript:移行前のソース（javaScript）
import AWS from ‘aws-sdk’
const PROVIDER_KEY = ‘cognito-idp.’ +
WindowsでのAWS CLIセットアップ手順、タブ補完の有効化手順と注意点
[JAWS-UG CLI専門支部](https://jawsug-cli.connpass.com/)などでハンズオンイベントに参加する時、よく使われるのがcloud9というサービスです
https://aws.amazon.com/jp/cloud9/
cloud9はVSCodeのようなIDEを提供してくれる素晴らしいサービスで、たまに開発環境を使う程度であれば十分すぎる代物です
ただ一方、個人的にローカルの開発環境を整えてる人に対するあこがれもありました
ハードルが高く感じてしまいなかなか手を出せていませんでしたが、連休を使ってAWS CLIをローカルで動かせるようにしてみました結果、インストールはすぐにできたのですがセットアップで少し手こずりました
Windowsの事例がググってもあまり出てこなかったので、備忘録もかねて記事にしておきます# 前提
OS：Windows 11
IDE：VSCode（ターミナルはPowerShell）# AWS CLIのインストール
基本的には、公式ドキュメント通りにやればOKhttps://docs.aws.amazon.co
AWSSAAを合格してやらなくてよかったこと3選
8月になってようやく合格できました。
AWSソリューションアーキテクトアソシエイト
経験が浅いAWSを触るエンジニアなら誰もが取りたがる資格だと思います。
2021年では稼げるIT資格ランキング3位、2020年では2位を獲得したこともあって話題になりました。
ググってみると未経験で1ヶ月で合格したとか２週間で合格したとか猛者がいます。
資格を取り慣れている方や学生の頃から勉強慣れしている方ならこの期間で合格することは可能だと思いますが世の中、勉強が嫌いな人が大半なので、ぶっちゃけ再現性がないんですよね・・なので
・全く別の業界から転職
・偏差値40以下の高校出身
・29歳未経験で4ヶ月で合格こういった僕のスペックの合格談の方が再現性があるんじゃないか。
ということで実践した勉強法や問題の解き方、オススメの教材を紹介します。## やらなければよかったこと3選
他の人の合格体験談を読んでみて、そして自分が合格してみて、意外と右往左往していたと思います。
振り返ってみてやらなくてよかったことが思うことがあったのでシェアしたいと思います。
## ①問題集を複数購入する
AWS LambdaでStableDiffusionを動かしたい
# はじめに
StableDiffusionが衝撃的です。
使用するにはGPUが必要という要件があったためAWS AWS SageMakerで動かしていたのですが、色々と試すのにGPU付きのインスタンスは費用が若干気になるところ。
ですが先日、CPUのみで動作する「stable_diffusion.openvino」が公開されました。
動作要件を見ると「AWS Lambdaでも動きそう？」→「動いた！」ので、一先ずここに共有します。本記事は以下に示す「stable_diffusion.openvino」をAWS Lambdaに移植したものです。
https://github.com/bes-dev/stable_diffusion.openvino
# 作成した画像サンプル
「墨田川」と「桜」のキーワードで作成した画像です。
AWS Lambda上で作成しましたが、1枚作成するのに4分前後かかっています。
」という記事で`Systems Manager`の`Run Command`機能を使用して、コマンド実行を試してみましたが、その際に、実行対象のインスタンスに残り続けるスクリプトが気になったので、調べた結果をまとめておきます。– 【前】[Amazon S3からのスクリプトの実行をやってみた。](https://qiita.com/sakai00kou/items/326a36fbdea10a6b2da8)
# SSM Agentの実行スクリプト格納先
前回説明した`Run Command`だけではなく、`Systems Manager`関連でリモートマシン操作が伴う場合、実行対象インスタンスの以下ディレクトリ配下に実行ステータスや実行スクリプトが格納されるようです。“`bash:/var/lib/amazon/ssm配下のファイル・ディレクトリ構成
/var/lib/amazon/ss
【AWS】【Salesforce】CTI AdapterにSSOの設定を適用する方法
# 1.はじめに
どうも、ARIの名古屋支社に勤務している愛知県民です♪
(/・ω・)/以前の自分の記事でSalesforceからAmazonConnectにSSOをする方法について説明しました。
https://qiita.com/Aichi_Lover/items/2ebb8089e588902ce8f0
記事の方法だと、SSOはできるのですが、
**SalesforceのタブとAmazonConnectのタブが分かれる**ので、
少しだけ使いにくいと感じていました。少し調べたところ、CTI Adapterを使ってSSOの設定をすることで、
Salesforceと同じタブでCCPを開くことができる様なので、
**今回はCTI Adapterを使ってSSOする方法**をまとめてみたいと思います！CTI Adapterについて勉強中の方の参考になれば幸いです。
(*^^)v# 2.用語の説明
## 2.1.CTI AdapterとはAmazonConnectとSalesforceを連携させる際に使用するクラウドサービスのことです。
（厳密にはAWSのサービスです
AWS OpenSearch Dashboard REST API
# OpenSearchのドキュメントが足りない!!
~~盗人猛々しいのかもしれない~~AWSのOpenSearchのダッシュボード周りのAPIが見つからなくて困って探したので、その結果を共有します。
WebGUIを手で操作とか死ねます。Use the Source, Luke.
# 凡例
* `$ENDPOINT` エンドポイントのホスト名
e.g. `search-hogehoge-fugafuga.ap-west-5.es.amazonaws.com`
* `$USER` ユーザ名
* `$PASS` パスワード“`terraform:
resource “aws_elasticsearch_domain” “hogehoge” {
elasticsearch_version = “OpenSearch_1.3”
advanced_security_options {
enabled = true
internal_user_database_enabled = true
master_user_options {
ma
AWS Organizationsのサービスコントロールポリシーの設定テストをしてみた
# はじめに
先日、AWS Organizationsの登録、アカウントの招待、組織単位(Organizational Unit)の作成をしてみました。そのときの備忘録は下記の記事を参照ください。https://qiita.com/duelist2020jp/items/55c382a0b4f419da0774
今回はその続きで、[サービスコントロールポリシー](https://docs.aws.amazon.com/ja_jp/organizations/latest/userguide/orgs_manage_policies_scps.html)(以降、SCPと表記)の設定テストをしてみました。SCPは、全ての機能が有効になっている組織でのみ使用することが可能です。一括請求機能のみを有効にしている場合には使用できないとのことなので、その点はご注意を。以下にSCPの設定テストしたときのメモをまとめました。
# SCPの有効化
SCPの設定テストをするために、まずはSCPを有効化します。有効化するための手順は下記の通りです。
1. AWS Organizations画面の左側
他のAWSサービスやエンドポイントサービスと接続
# VPCエンドポイント
**VPCエンドポイントとは、VPC内からVPC外へ接続するための、接続点を作るためのサービス。**
VPC内のサブネット同士は、直接通信することができる。そして、VPC同士も１つのネットワークのように繋げることができる。しかし、**VPCの外にあるサービスとVPCとは、インターネットゲートウェイを通り、インターネットを介して接続する必要がある**。
AWSのすべてのサービスがVPC内におけるわけではない。たとえは、S3やDynamoDBが挙げられる。ただ、AWSで作成しているのに、インターネット回線を介していては面倒でセキュリティ的にも不安である。
そこで、インターネットゲートウェイではなく、非VPCサービスとVPCを直結することができるのが、**エンドポイントサービス**。VPCの出口としてエンドポイントを設定することで、S3に直接接続できる。
インターフェースエンドポイントとゲートウェイエンドポイントの２種類がある。
# インターフェースエンドポイントとゲートウェイエンドポイント
VPCエンドポイントは、仮想的なサービス。
冗長性と高可用性を備えていて、
セキュリティグループとネットワークACL
# セキュリティグループとネットワークACL
VPCの仮想ファイアウォールとして、**セキュリティグループとネットワークACLがある**。ファイアウォールとは、ネットワークへのデータの出入りをコントロールする仕組み。
セキュリティグループとネットワークACLは、インバウンドトラフィック（データが入ること）とアウトバウンドトラフィック（データが出ること）をコントロールする。必ず両方、何かしらの設定が必要なので、明示的に設定しない場合は、デフォルトの設定が適用される。
**セキュリティグループとネットワークACLの特徴**
|項目|セキュリティグループ|ネットワークACL|
|-|-|-|
|動作の範囲|インスタンスに対して動作する(最大５つのセキュリティグループを割り当てが可能)|サブネットに対して動作する|
|ルール|ルールの許可のみ|ルールの許可の拒否|
|動作|ステートフル (ルールに関係がなく、返されたトラフィックが自動的に許可される)|ステートレス (返されたトラフィックはルールによって毎時的に許可される)|
|ルールの適用順序|すべてのルールを確認して、トラフィックの可/不可
AWS Certified Developer – Associate 試験 (DVA-C01) 合格体験記
## はじめに
本記事は、AWS Certified Developer – Associate 試験 (DVA-C01) の合格体験記です。
これから受験する方の参考になれば幸いです。## negocia株式会社について
negocia株式会社では３つのValueを行動指針とし、「うれしい広告」の実現を目指しています。### Values
– Professional Pride プロであり続ける
– Praise the Challenge 挑戦を楽しむ
– Ownership for All 全てにオーナシップをもつ興味を持たれた方は[採用情報](https://negocia.jp/careers)をご覧ください。
## AWS Certified Developer – Associate
AWSの[公式ページ](https://aws.amazon.com/jp/certification/certified-developer-associate/)では、このように説明されています。> この資格は、組織がクラウドイニシアチブを実装するための重要なスキル
