AWS関連のことを調べてみた2022年07月21日

【AWS Glue】Postgre DBからのdynamic frame読み込み並列化

## はじめに

業務でAWS S3上にデータレイク開発を行っています。
プロダクトで使用しているDBからS3へのデータの同期は、AWS Glueで、DBからdynamic frameを読み込み、S3に保存するジョブを実行することで実現しています。

今回上記のやり方でDBで使用しているあるテーブル（データサイズが約40GB）を読み込んでS3に保存しようとした場合、膨大な時間がかかったうえ、途中でエラーで落ちてしまいました。

## 原因をさぐる

Glueのジョブがどのように実行されているかを知るためにまずはSpark UIで確認します。

Spark UIの構築方法は下記の通りです。

リポジトリクローン

“`jsx
git clone https://github.com/aws-samples/aws-glue-samples/
“`

コピーしてきたフォルダのうち./utilities/SparkUI/glue-1_0-2_0以下にDockerfileがあるため適当なフォルダにコピー、フォルダ内でビルドする

“`jsx
docker build -t glue/sp

【AWS】EC2インスタンスを起動してTeraTermからSSH接続する

# 1.はじめに
どうも、ARIの名古屋支社に勤務している愛知県民です♪
(/・ω・)/

どちらかというと初歩的な内容ですが、
**今回はEC2インスタンスを作成してTeraTermで接続する方法**
について、備忘録としてまとめてみたいと思います

AWSについて勉強中の方の参考になれば幸いです。
(*^^)v

# 2.用語の説明
## 2.1.EC2とは
EC2とは「Elastic Compute Cloud」の略で、AWSの中のサービスの1つで、
LinuxベースやWindowsベースの仮想サーバを構築することができます。

オンプレのサーバと比べると構築や削除の手間がとても少なく、
冗長化の設定や、サーバの負荷に合わせたスケーリングをすることもできます。

## 2.2.TeraTermとは
Tera Term(テラターム)とは、Windowsで動作するリモートログオンクライアントです。
1台のPCからインターネットを通じて、別のサーバやPCに接続し、操作することができます。
また、SSH・telnet・シリアルの各通信プロトコルに対応しています。

参考：https://

未経験エンジニアが感じたサーバレスってなに？

この記事を書こうと思った理由

最近、AWSの勉強をしていてオンプレとクラウドの違いをなんとなく理解してきたところでサーバレスという言葉に疑問を感じたためこの記事を書こうと思いました。

私の中での言語の理解

・オンプレ（オンプレミス）
自社でサーバーを買いデータセンターに設置してそこにアプリやらインフラの設定などを行いサービスを提供する仕組み
メリット
自分で買うから、設定などの自由度がかなり高い
デメリット
初期費用がとても金がかかる
自分でサービスを考えて提供するまでに時間がかかる
急な高負荷などに対応できない

・クラウド
他社（Amazon,Google,Microsoft)が提供しているサーバー上にアプリやらインフラの設定などを行いサービスを提供する仕組み
メリット
うまく設定すれば、オンプレよりも安く済ませることができる
初期費用がかからない
急な高負荷などに対応できる
デメリット
カスタマイズに制限がある
現状使いこなせる人材が少ない

・サーバレス
？？？
サーバーがいらない？
AWS勉強して出てきたけど、AWSはクラウドで一応サ

AWS　リソースの解放

今日、社内でAWSの環境構築の研修がありました。
VPCの設定、サブネットの設定、セキュリティグループの設定、EC2の設定、RDSの設定を行い、
最後にはリソースの解放まで行いました。
初めて環境構築を行い、リソースの解放のところで気づきがあったので、以下に記します。

# AWS　リソースの解放
VPCを削除すればその中のネットワークに属するEC2とRDS、他設定もろとも全て消えるのでは？
と思っていたのですが、そういうわけではないようです。
VPCは箱ではなく、紐のイメージで、EC2とRDSはそれぞれ個別に削除する必要がありました。

EC2は停止した状態で削除ができたのですが、RDSは起動した状態でないと削除ができず少し手間取りました。
なぜかはわかりません。
最後にVPCを削除したときに、一緒にサブネットの設定やセキュリティグループの設定が消えました。

会社での研修内容を振り返ってみました。
せっかく構築作業を行ったので、自宅でも試してみようかなと思います。
何かご指摘などありましたらコメントをお願いいたします。

AWS SSOのカスタマー管理ポリシーをざっくり試す

これまでAWS管理ポリシーとインラインポリシーしか使えなかったAWS Single Sign-Ｏｎ（以下AWS SSO）が遂にカスタマー管理ポリシーをサポートした！という[リリース](https://aws.amazon.com/jp/about-aws/whats-new/2022/07/aws-single-sign-on-aws-sso-aws-identity-access-management-iam-customer-managed-policies-cmps/)があったので、取り急ぎ試してみる。

## やりたいこと
AWS SSOでカスタマー管理ポリシーを使って楽したい。

## その前に仕様確認
同僚の話によるとどうも思ってたのと少し違う仕様らしいので、公式ドキュメント（英語の方）を読んでみる。
[Custom permissions](https://docs.aws.amazon.com/singlesignon/latest/userguide/howtocmp.html)
[Use IAM policies in permission sets](https:

AWS CDK synth or deploy時のFailed to bundle asset

私だけかもしれませんが、大分嵌ったので、メモを残します。

# 環境
Windows10 WSL2 (Ubuntu18.04)
WLS2内でCDKのソースコードを保有してDockerコンテナへVolumeマウントしている状態。
WSL2のファイルはローカルユーザーがオーナー(1000:1000)
ファイル、ディレクトリのパーミッションはフルアクセスでコンテナのユーザーもRW可能な状態

aws-lambda-nodejsのNodejsFunction()を利用しbuildingオプションのforceDockerBundlingはfalseを設定済.
(コンテナでビルドせずにローカルのesbuildを利用する設定)

# 問題事象
WSL2環境のDockerコンテナにAWS CDKをインストールして、コンテナのrootユーザーでcdkコマンドを実行するとこうなる事象に遭遇
“`
$cdk synth
Error: Failed to bundle asset xxxxxxxxx/Code/Stage, bundle output is located at XXXXXX

AWS SAAって実際に仕事で役立つの？

## はじめに
AWS SAA(Certified Solutions Architect) を受けようか悩んでいるけれど、メリットが分からず受ける決定打に欠ける・・という方は多いのではないでしょうか。
私はAWS SAAに2021年に合格しまして、それから業務や個人開発でAWSを使ったインフラ開発・運用関わってきたので、 **AWS SAAを受けることで仕事で何に役立つの？** といった点について記載します。

ちなみに受験前の私の知識レベルは、EC2, S3？名前は聞いたことあるな・・:thinking_face:程度でした。

## 目次
– [はじめに](#はじめに)
– [記事対象者](#記事対象者)
– [結論](#結論)
– [SAAを受けて仕事で役立ったこと](#SAAを受けて仕事で役立ったこと)
– [システム構築のベストプラクティスが分かる](#システム構築のベストプラクティスが分かる)
– [入社直後でも案件の概要を掴みやすくなる](#入社直後でも案件の概要を掴みやすくなる)
– [転職活動に強くなる](#転職活動に強くなる)
– [プライベートで

AWSのSAML認証でaws cliにログインする方法

はいさい！ちゅらデータぬオースティンやいびーん！

# 概要
AWSのFederated Userシステム、SAML認証でログインした時に、`aws cli`にもその認証情報を反映させる方法を紹介します。

## 参考にした情報

https://qiita.com/hoto17296/items/126352a43e9749d510b5

https://aws.amazon.com/premiumsupport/knowledge-center/aws-cli-call-store-saml-credentials/

https://docs.aws.amazon.com/IAM/latest/UserGuide/troubleshoot_saml_view-saml-response.html

# SAMLResponseを取得する
まず、読者さんのAWS・SAMLログイン画面を開いてください。

筆者の場合、Googleアカウントを使用しておりますので、以下のような画面になります。
![スクリーンショット 2022-07-20 12.20.57.png](https://q

(aws) EFSのFileSystemId取得方法

# EFSのFileSystemIdを取得方法について
BatchやプログラムでEFSのFileSystemIdを取得し、マウント作業を自動化したい時に役立つ方法。
AWS CLIを利用する。（もちろんAWS SDKも利用可能）

基本的には下記コマンドで全てのEFSの全ての詳細情報を取ることが可能。
“`shell
$ aws efs describe-file-systems
“`

上記コマンドを使って “–query” オプションを追加することで特定の情報だけをフィルタリングすることが可能。

※AWSのAPIは大体 **”–filter”** というサーバ側のフィルタリングオプションと **”–query”** というクライアント側のフィルタリングオプションが存在する。しかし、EFSの場合だと、**”–filter”** 機能は特に実装されてない(2022年7月時点)らしいので、**”–query”** オプションでフィルタリングをかけるしかない。
**”–query”** のフィルタリング方法は[JMESPath構文](https://jmespath.or

意識低い系インフラエンジニアでもAWS SAA(C02)合格する方法

# 意識低い系インフラエンジニアでも合格できました

前回のクラウドプラクティショナー受験から4か月ほど経ち、
2022年6月にソリューションアーキテクトアソシエイトに合格しました。

スコアはこんな感じ。割とギリ。

`受験者スコア: 760 結果: 合格`

## 前提_環境

2022年2月頃にクラウドプラクティショナーに合格しています。

18年頃に一度SAAは受験していましたが、落ちています。
その時は500点程度だったと記憶しています。

試験官が海外の方だと時差の関係で深夜帯にも受験できるので
日本語受験、試験官は英語としました。

SIerとして派遣勤務しており、現場でも取得を求められているため
クビにならないように受験しました。

## 勉強方法

Qiitaの合格体験記を参考にやってたので、似たり寄ったりです。変わったことはしていません。
逆に言えばこれやっときゃ受かるのかも。
乱雑ですがした事は以下の通りです。

とりあえず黒本を読み、ざっくりと内容を理解しました。

他にも読んだものはあるのですが、結局これが自分に一番合っている気がします。

https://w

ブラウザからLambdaを実行

### IDプールの作成
Cognito > IDプール管理 > 新しいIDプールの作成
認証時のロール、未認証時のロールがcognitoによって作成される

### IAM権限設定
用途に合わせて認証時のロールまたは、未認証時のロールにInvokeFunction権限を付与する

### javascript(ES6)
“`javascript
const { CognitoIdentityClient } = require(“@aws-sdk/client-cognito-identity”);
const { fromCognitoIdentityPool } = require(“@aws-sdk/credential-provider-cognito-identity”);
const client_lambda = require(“@aws-sdk/client-lambda”);
const REGION = “ap-northeast-1”;
const lambda = new client_lambda.Lambda({

長期インターンの振り返り〜半年終えて〜

# はじめに

実際に長期インターンって何するの？と疑問を持っている人向けに、自分自身が長期インターンの中でおこなっている業務内容、インターンを通して得たものを中心にまとめようと思います！

# 自己紹介

自分は現在、東京大学非情報系学部３年の学生です。インターンに参加する前は、プログラミング自体は授業で触ったことはあるけど、、、というレベルでありましたが、2022年1月からインターンに参加させていただいています。インターンに参加させていただいて半年が経ってこの記事を書いています。

# インターンに参加するまで

プログラミング経験はあまりなかったものの、将来幅広い分野（研究、就職）において、プログラミングは必要になってくるのかなと素人なりに感じていました。そんな時、先にこのインターンに参加していた友人から体験談を聞いて、このインターン魅力的に感じ、応募しました。
その後、面接して、採用していただきました。面接では、聞かれることに従って、自分自身の自己紹介、どのくらいの期間インターンに参加できそうか、参加動機などをカジュアルに話しました。

# 業務内容

勤務時間としては、週

AWS lightsail: WordPress: All-in-One WP Migrationのアップロードサイズ変更方法

# まえがき
Wordpressには、[All-in-One WP Migration](https://ja.wordpress.org/plugins/all-in-one-wp-migration/)というプラグインがありますが、サーバー移行の際にとても簡単に移行を行うことができるプラグインです。
移行元Wordpressから移行ファイルをダウンロードして、移行先にアップロードするだけで完了します。

しかし、このプラグインには、デフォルトでファイルのアップロードサイズが**80MB**という制限がついています。
これは、プラグインをプレミアムプランにすれば、制限を解除できるようです。
しかし、公式のドキュメントを読むと難しいけど、自分で制限を上げることもできるよというように説明が書いてあります。
[その設定](https://help.servmask.com/2018/10/27/how-to-increase-maximum-upload-file-size-in-wordpress/)を試してみたのですが、効果がなかったです。異なる方法でできる方法を見つけたので、それを書

AWS CloudFormationを利用してIAMユーザを作成してみた

## 【はじめに】

個人でAWSアカウントを複数持つことはあまりないと思いますが、会社組織では部署や役割ごとに複数のアカウントを所有することは当たり前のようにあります。

会社組織でインフラ構築をする際に、ルートユーザに代わりAdmin権限を持つIAMユーザを作成することでアカウントを管理することが推奨されています。

そこで今回は、AWS CloudFormationを利用して複数のアカウントに同じAdmin権限を持った初期IAMユーザを作成する方法を解説していきます。

AWS無料枠内で利用できますので、今後のキャリアを見据えて、是非操作してみましょう。

### 本記事の内容

– AWS CloudFormationを利用するメリットは？
– 実際にAWS CloudFormationを利用してIAMユーザを作成してみる
– 作成したリソースを確認する
– 作成したリソースを削除する（スタックとIAMユーザの削除）

### 【AWS CloudFormationを利用するメリットは？】

AWS CloudFormationはリソースの設定やプロビジョニングをコード化して

【詳しく解説】同じ権限を持つIAMユーザを複数作成する

## 【はじめに】

IAMを作成するときに、IAMグループを作成して所属させることで同じ権限を複数ユーザに付与することができるということを以前の記事で紹介しました。

https://www.kyonakablog.com/aws/steps-to-create-iam-user/

しかし、複数のIAMユーザに同じ権限を付与する際に一つだけ気になることがあります。

それは、**複数のIAMユーザを作成する手間**です。

今回はAWS CLIを利用して同じ権限を持つIAMユーザを一度に複数作成する方法を解説していきます。

### 本記事の内容

– AWS CLIを利用するメリットとは？
– AWS CLIを実行する環境はどこ？
– 実際に複数のIAMユーザをまとめて作成してみる
– 作成したユーザを削除する（リソースの削除）

## 【AWS CLIを利用するメリットとは？】

AWS CLIを利用するメリットは、大きくは2つあります。

ひとつ目は、何度も繰り返す操作をスクリプトとしてまとめて自動化することで業務を効率化し、また手作業による人的ミスを減らすことができること

AWS Cognito上のログイン履歴をLambdaでS3に定期出力

初めまして、フルカイテンでフロントエンドを担当しておりますヒロシと申します。
テックブログを始めて2つ目の記事を書かせていただくことになりました。

フロントと言いつつ、今回はAWSの記事になります…!
思いのほかCognitoのログイン履歴をLambdaでCSV出力する情報が多くなかった?ので、今回記事にしてみようと思いました！

# 背景・動機
弊社ではサービス導入後、一部お客様で日常業務への利用定着や効果的な活用が進まない問題が発生しました。しかし、当初は定量的な指標がなかったため、各お客様がどの程度利用しているかはカスタマーサクセスチームの感覚ベースとなっていました。
利用定着が進まないまま放置しているとチャーンリスクが増加します。
そこでユーザーの活用状況を知る方法の一つとして[Cognito](https://aws.amazon.com/jp/cognito/)で保有しているユーザーのログイン履歴を参照することにしました。

# 本記事の主な対象
Cognitoを業務利用している人

# やること
お客様の多くは主に1

元記事を表示

AlexaカスタムスキルとEcho Showで子供のお手伝いを記録してみた

## なんでやろうと思ったか

プライムデーとかで衝動的にEcho Showを買ったものの、使い道としてニュースや天気を聞くくらいになっていました。何か活用できないかと考えていたところ、以下のすばらしい資料があり、こちらを参考に我が家でもこどものお手伝いを記録しつつ、ついでにEcho Showを使って見える化してみようと思いました。

https://www.slideshare.net/ssuseredaaf9/alexa-amplify

## Alexaスキルとは

Alexaスキルとは、Amazonが販売している音声デバイス(Amazon Echoなど)やアプリに搭載されている音声サービス「Alexa」の機能を拡張するアプリケーションのことを言います。ニュースや天気もAlexaスキルになります。このAlexaスキルは自分で作成（公開）することができ、クッキングスキル、スマートデバイススキルなど用途に応じた作成方法があります。([参考](https://developer.amazon.com/ja-JP/docs/alexa/ask-overviews/list-of-skil

元記事を表示

AWS CodeBuildでSnyk IaCを使用してみた

# はじめに

はじめまして！たかくにと申します！

この記事は「Snykを使って開発者セキュリティに関する記事を投稿しよう！」というテーマに沿って投稿しています！

https://qiita.com/official-events/786b978e4a1a28fad312

普段もIaCやAWSを中心にブログを書いているので、ご覧いただけると嬉しいです。

https://dev.classmethod.jp/author/takakuni/

突然ですが、みなさん！IaC使っていますかー?　IaC便利ですよね！
Googleトレンドでも、年々IaCの人気が増加していることが伺えます。
では、IaCで使っているコードのセキュリティを気にしていますか？
気にしていなくても、これから気にすれば大丈夫

元記事を表示

【AWS】IAMユーザの作成手順を分かりやすく解説

## 【はじめに】

– AWSの学習をしているが、「IAM」って何？
– AWS無料枠でIAMを操作してみたい

今回はAWS初学者の方に向けて、IAMユーザの作成手順を分かりやすく解説していきます。
※AWS無料枠の範囲内で操作できるので、この機会にIAMの基本を押さえてしまいましょう。

### 本記事の内容

– なぜIAMユーザを作成するのか？
– IAMが提供する機能とは？
– ユーザとグループ
– 実際にIAMユーザを作成する

## 【なぜIAMユーザを作成するのか？】

AWSのサービスを利用するには、まずリソースを管理するためにAWSアカウントを作成する必要があります。

AWSアカウントを作成することで、アカウントごとに独立した環境が用意されます。

併せて、**ルートユーザ**が自動的に作成されます。

ルートユーザはAWSアカウントに関連するすべてのサービスを操作できる権限を持っているため、通常は必要な権限のみに制限したユーザを作成して、開発などを行う必要があります。

IAM（Identity and Access Management）はAWSのリソースへ

元記事を表示

awsでec2インスタンスにsshできるようになるまで

タイトルの通りec2インスタンスを作ってそこにsshするまでの記事です
間違いがあれば指摘いただけると嬉しいです

## まずはVPCを構築
![ap-northeast-1.console.aws.amazon.com_vpc_home_

元記事を表示