AWS関連のことを調べてみた2022年05月16日

【個人開発】面倒な献立作りから解放し、レベルを上げて料理を楽しむレコメンド献立アプリを作った話


**こちらの記事を訪れていただき、ありがとうございます。**
この度、タイトルにもある通りポートフォリオとして **「面倒な献立作りから解放し、レベルを上げて料理を楽しむレコメンド献立アプリ(FunCooApp)」** を開発しました。

こちらの記事では、**アプリの制作過程や実際の機能など** を紹介していきます。
**アプリの使用イメージは『[主な機能](#主な機能)』で確認することができます。**

## 簡単な自己紹介

– 神奈川県在住の24歳、男
– 2月前後にRubyの学習を始め、2月中旬からRailsの学習を開始(総学習継続130日[執筆現在])
– 同時に基本情報技術者試験の学習も並行し4月末に受験(スコアレポートでは[合格ライン]でした)
–

Amazon AthenaでAmazon S3のデータを空間検索してQGISで可視化してみた


### Amazon AthenaでAmazon S3のデータを空間検索してQGISで可視化してみました :tada:

詳細として下記について説明します。

– [事前準備](https://qiita.com/dayjournal/items/441f89794f6fb5656846#%E4%BA%8B%E5%89%8D%E6%BA%96%E5%82%99)
– [クエリ保存先を設定](https://qiita.com/dayjournal/items/441f89794f6fb5656846#%E3%82%AF%E3%82%A8%E3%83%AA%E4%BF%9D%E5%AD%98%E5%85%88%E3%82%92%E8%A8%AD%E5%AE%9A)
– [テーブル作成](https://qiita.com/dayjournal/items/441f89794f6fb5656846#%E3%83%86%E3%83%BC%E3%83%96%E

IAMポリシーの概念まとめ

AWSのIAMポリシーは概念がたくさん出てくるので、勉強した範囲でまとめ（間違っているかもしれない）

## ポリシーの分類

“`mermaid
classDiagram

アイデンティティベースポリシー –|> ポリシー
リソースベースポリシー –|> ポリシー
ポリシー <|-- AWS管理ポリシー ポリシー <|-- カスタマ管理ポリシー ポリシー <|-- インラインポリシー ``` ### アタッチ対象による分類 - アイデンティティベースポリシー - ユーザー、グループ、ロールにアタッチするポリシー。アタッチ対象が決まっているので、Principalは不要 - リソースベースポリシー - S3バケットや、SQSキューなどのリソースにアタッチするポリシー - インラインポリシーでのみ記述で記述できる - IAMロールの信頼ポリシーもリソースベースポリシーの一種 ### 管理方式による分類 - AWS管理ポリシー - AWS側でメンテナンスされるポリシー - 特定のAWSサービスのSourceIPリストなどを含むポ

AWS Control Towerで設定されたAWS Configの料金が高騰したのでどうにかした話

# AWS Control Tower とは

[AWS Control Tower](https://docs.aws.amazon.com/ja_jp/controltower/latest/userguide/what-is-control-tower.html) は、AWS のマルチアカウント環境を簡単にセットアップしてくれるサービスです。

マルチアカウント化の考え方や AWS Control Tower を利用するメリットについては、こちらの記事が非常に参考になります。
[スタートアップにおけるマルチアカウントの考え方と AWS Control Tower のすゝめ](https://aws.amazon.com/jp/blogs/startup/multi-accounts-and-control-tower/)
スタートアップ向けに書かれた記事ですが、内容は AWS を運用している方なら誰でも参考になると思います。

AWS Control Tower の特徴の１つにガードレールがあります。あらかじめルールを設定しておくことで、

– 望まない操作を禁止する（予

AWSのLarave環境構築（Laraveアップロードの土台作りまで）

## Laravel開発環境構築
### VPC設定
* vpc作成
* パブリックサブネットとプライベートサブネットを作成

## EC2設定
* EC2インスタンス作成
* EC2へSSH接続
* “`sudo yum update -y“`でyumを最新状態にする
* “`sudo yum -y install httpd“`でアパッチをインストール
* “`sudo systemctl start httpd.service“`でアパッチ起動
* “`sudo systemctl status httpd.service“`で起動しているかの確認
* “`ps -axu“`でも確認可能。この時は“`/usr/sbin/httpd“`が表示されているかも確認。
上記で確認すると大量に結果が表示される。
こういった時は絞り込みをする。
“`ps – axu | grep <検索文字>“`
例）“`ps -axu | grep httpd“`
* “`sudo systemctl enable httpd.service“`これで、サーバーを起動し

Flutter で Pinpointのプッシュ通知の設定方法 (FCM , APNs)

# はじめに
flutterでpinpointのプッシュ通知を設定する上で、`Firebase Cloud Messaging (FCM)`や、`Apple Push Notification service (APNs)`を設定する箇所があったため、その方法をまとめます。


# Pinpoint プロジェクトを作成
プロジェクト名を`test`とし、作成します。
左タブの`設定→プッシュ通知`をクリックします。
![スクリーンショット 2022-05-15 20.13.36.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2612883/45a3c428-f8e7-2304-7aeb-ba9a331ca260

【初心者】特徴量エンジニアリング（次元低減）について調べてみた

# 背景・目的
私は、現在データエンジニアリングを生業としています。普段は、データ基盤の構築や、パフォーマンスチューニングなどビックデータに関する業務に従事しています。
ビックデータの収集や、蓄積、分析などの環境構築の経験はそこそこありますが、機械学習による予測や分類などのスキルは持ち合わせていませんでした。
今まで機械学習を避け続けてきましたが、一念発起し学ぼうと思います。

学び方としては、AWS Certified Machine Learning – Specialty（以降、ML試験という。）の勉強を通して、理解を深めていきます。ML試験のガイドの第２分野に、探索的データ解析が登場しましたのでそこから学びたいと思います。

今回は、以下のうち**次元低減**について学びたいと思います。

> 特徴エンジニアリングの概念を分析/評価する (データのビニング、トークナイゼーション、外れ値、合成的特徴、One-Hotエンコーディング、次元低減)

なお、過去の機械学習の調べてみたシリースは下記にまとめています。
– 2.探索的データ分析
– 2.1.モデリング用のデータをサニタイズ

[Amplify]APIGatewayのAuthorizerにCognitoを指定する

## 概要
AmplifyでOverride機能を利用してAPIGatewayのAuthorizerにCognitoを指定する方法をご紹介します。

## 課題
2022/3/10現在、Amplify CLIでは、APIGatewayのAuthorizerにIAMしか利用できません。AWSのコンソールからCognitoを指定したとしても更新した際にテンプレートで上書きされてしまい、設定したAuthorizerの情報が消えてしまいます。
そのため、Override機能を利用してAPIのCFnテンプレートを修正する必要があります。

## 手順
### APIGateway・Cognitoのoverride.ts作成
CLIで以下のコマンドを実行し、override.tsを作成します
“`
amplify override auth
amplify override api
“`

### override.tsの編集
Authでは、CognitoユーザープールのIDをエクスポートします。
エクスポート名は重複が許されないため、環境名を取得してユニークにしています。しかし、デフォルトで

【MENTA】LaravelアプリのEC2デプロイ周りのフォローレビュー

# 背景
– LaravelポートフォリオのAWS EC2デプロイに苦労していた時、IWASAKI SKY様([@sdsd08013](https://menta.work/user/52350))よりお声がけいただきました。

# 選んだ理由
– 募集内容を理解していただいた上で、ファーストメッセージにて解決方法をご提案いただいたこと
– 状況に合わせた専用プランを作成いただいたこと
– プロフィールが具体的(職歴や外部SNSリンクなど)
– 『チャット反応目安時間』が明瞭
– LaravelやVueなどのBE/FEの知見豊富(IaCやCI/CDなどのインフラ周りも)
※他にご提案いただいた方は、『テンプレメッセージ・個人情報の不透明感・技術スタックの不一致』などで見送らせていただきました。

# 身についたこと
– nginx / php-fpm / Linux(permission)周りの基礎知識
– EC2作業ユーザー追加方法(今回使いませんでしたがIAM周りも)
– nginxとLaravelエラーログの原因切り分けと特定方法
※個人的に、現役エンジニアの方のエラー解決プロセ

【AWS】MENTAやチーム開発の環境構築【EC2編】

# 0. はじめに
大阪のLaravel初学者サウナーこと、kazumakishimoto([@kazuma_dev](https://twitter.com/kazuma_dev))です！
AWS EC2へSSHログインユーザー追加方法をまとめました。
※信用できる方とのチーム開発やMENTAでのやり取り以外では推奨しません(ベストプラクティスがあればご教示下さい)。

## 0-1. 本記事の対象者
– メンターさん
– メンティーさん
– チーム開発メンバー

## 0-2. 全体の流れ
[1.EC2へSSHログイン](#1-ec2へsshログイン)
[2.オーナー設定](#2-オーナー設定)
[3.開発メンバー設定](#3-開発メンバー設定)
[4.補足](#4-補足)
[Reference](#reference)

## 0-3. 事前準備
– EC2インスタンスやセキュリティグループ作成済み(CloudFormation)

“`yaml:ec2.yml
AWSTemplateFormatVersion: 2010-09-09

Parameters:
VpcCid

【AWS】MENTAやチーム開発の環境構築【IAM編】

# 0. はじめに
大阪のLaravel初学者サウナーこと、kazumakishimoto([@kazuma_dev](https://twitter.com/kazuma_dev))です！
AWSでチーム開発するためのIAMアカウント設定方法をまとめました。
※信用できる方とのチーム開発やMENTAでのやり取り以外では推奨しません(ベストプラクティスがあればご教示下さい)。

## 0-1. 本記事の対象者
– メンターさん
– メンティーさん
– チーム開発メンバー

## 0-2. 全体の流れ
[1. オーナー設定](#1-オーナー設定)
[2. 開発メンバー設定](#2-開発メンバー設定)
[3. 補足](#3-補足)
[reference](#reference)

# 0-3. 要件
– Admin権限をもつのは、オーナーアカウントだけ。
– 開発メンバーはAdmin権限以外の権限をすべて与えられる。
– 開発メンバーは自分のパスワード変更が行える（通常はAdmin権限をもったアカウントのみが可能）。

## 0-4. 事前準備
– AWSアカウント作成(オーナーアカウント

【初心者】特徴量エンジニアリング（ダミー変数[One-Hotエンコーディング]）について調べてみた

# 背景・目的
私は、現在データエンジニアリングを生業としています。普段は、データ基盤の構築や、パフォーマンスチューニングなどビックデータに関する業務に従事しています。
ビックデータの収集や、蓄積、分析などの環境構築の経験はそこそこありますが、機械学習による予測や分類などのスキルは持ち合わせていませんでした。
今まで機械学習を避け続けてきましたが、一念発起し学ぼうと思います。

学び方としては、AWS Certified Machine Learning – Specialty（以降、ML試験という。）の勉強を通して、理解を深めていきます。ML試験のガイドの第２分野に、探索的データ解析が登場しましたのでそこから学びたいと思います。

今回は、以下のうち**One-Hotエンコーディング**について学びたいと思います。

> 特徴エンジニアリングの概念を分析/評価する (データのビニング、トークナイゼーション、外れ値、合成的特徴、One-Hotエンコーディング、次元低減)

なお、過去の機械学習の調べてみたシリースは下記にまとめています。
– 2.探索的データ分析
– 2.1.モデリング

AWS Systems Managerハンズオンやってみた

# はじめに
AWS Systems Manager(SSM)の勉強をしたいと思っていたら、下記のハンズオン教材がAWS公式であったので、やってみました。

https://catalog.us-east-1.prod.workshops.aws/workshops/7e60f6e3-0c8f-488a-bedc-632aa8d526ea/ja-JP/phase1

# 機能
[AWS Systems Manager とは?](https://docs.aws.amazon.com/ja_jp/systems-manager/latest/userguide/what-is-systems-manager.html)でもあるように６つの機能があります。

・Quick Setup
・Operations Management
・アプリケーション管理
・変更管理
・ノード管理
・共有リソース

SSMはAWS SAAの試験ではほぼ出ないかと思いますが、SOAでは必須の知識となります。その一方で上記のように機能が多岐に渡るので、中々分かりづらいサービスであります。

## ハンズオン
ハン

【備忘録】JAWS-UG CLI専門支部のIAM編をまとめて振り返ってみる

ゴールデンウィークは皆さんいかがお過ごしでしたでしょうか
10連休で存分にリフレッシュした人、ゴールデンウィークなんて関係なく働いていた人、引きこもってNetflix三昧だった人、色々だと思います

私はJAWS-UG CLI専門支部のメンバーの一員として、ゴールデンウィーク特別講座を受けておりました

https://jawsug-cli.connpass.com/

2022/4/29～5/8の間一日も欠かさず（！）、CLI専門支部ではハンズオンが開催されていました
内容としては、AWSで欠かすことのできないサービスであるSNS、SQS、S3、IAMに関する座学とハンズオンです

今回はその中でも一番比重が高かったIAMについて、学んだことを振り返ろうと思います

※私は全参加できなかったので、一部自習のみ行った部分もあります
※この記事でIAMを網羅しているわけではありません。個人的な備忘録として残しています。

# IAM全般知識

## IAMの位置づけ
– AWSリソースに対するリクエストの認証・認可を行うサービス

– ほぼすべて(*)のAWS APIリクエストはIAMを

VMware Tanzu Kubernetes Grid (TKG) on Amazon EC2 をセットアップしてみた (#1 前編 – そもそも VMware Tanzu って？)

# 1. はじめに
[「VMware Tanzu Kubernetes Grid」](https://tanzu.vmware.com/jp/kubernetes-grid) (通称TKG)をAWS上でセットアップしてみたので、備忘録をまとめます。

記事は前編後編に分けていて、前編はVMware Tanzuについての紹介、後編は実際にAWS (Amazon EC2)上でVMware Tanzuをセットアップした際の手順、および参考にさせていただいた情報などをまとめます。

先達の方々のブログ記事が非常に参考になりましたので、本稿は情報まとめのまとめという位置付けで捉えていただければと思います。

ハンズオンから試したいという方は、前編は読み飛ばして次の後編から読んでいただければOKです。

https://qiita.com/sanjushi003/private/99c3f3e3c8dbb16ca0e7

# 2. そもそもVMware Tanzuって？

Linuxコンテナ管理を自動化するオープンソース・プラットフォームであるKubernetes(以下、k8s)を、VMware社

QuickSightでローデータ提供

# はじめに

案件の中には、ローデータを納品する場合もあるかと思います。
弊社ではさらに、”検索機能等を実装したVBAマクロ込みExcel”で納品、という事例ありました。

Office製品依存から脱却するためにも、ファイル納品に代わり、QuickSightでローデータを提供できないか試してみました。

# 概要
– QuickSight上でテーブルのビジュアルを用い、CSVダウンロードすれば、やりたいことは適う模様
– ただし、以下の制限あり
– 100 万行まで
– 500 MBまで
– フィルタで絞り込んだ場合は、絞り込み後のデータがダウンロードされる

# 使用データ
以前から使っている、東京都 新型コロナウイルス陽性患者発表詳細になります。

https://catalog.data.metro.tokyo.lg.jp/dataset/t000010d0000000068

# 作ったダッシュボード
以下のようなダッシュボードを作りました（作り方は割愛します）。
– ざっと集計されるピボット表があるシート
– ローデータがその

Slack AppでリクエストURLにLambda(Node.js)の関数URLを指定してYour URL didn’t respond with the value of the challenge parameterが出た時の対応

## はじめに

Slackアプリの Event Subscriptions -> Enable Events -> Request URLでURL設定時にタイトルのエラーが出た場合の対応方法を整理します。

## エラー内容

“`
Your URL didn’t respond with the value of the challenge parameter.
“`

– 内容としては`challenge` パラメータを指定してレスポンスを返していない、という意味です。

## 結論

Lambda(Node.js)の場合、以下のようなコードを書けばOKです。
`challenge` のみを含むレスポンスを返却するのがポイントです。

“`index.js
exports.handler = async (event) => {
// TODO implement
console.log(`event=${JSON.stringify(event)}`);
const event_body_json = JSON.parse(event.body)

Toil削減取り組みしてみた　~マネージドサービス活用とスクラッチ開発でSREs体感

# はじめに
GW中の肩慣らしとしてこんな感じなものを作ってみた。
ちなみにGW中と言っといてつまずいたポイントがあり結果としてGW明けに投稿となってしまった。。
トラシューも含めてまとめてみたが長くなったのでお時間ある方はぜひ

目的と得られるスキルは下記の通り

__目的__
業務でJIRAを利用しているが、セキュリティ観点から定期的なパスワード変更が必要であり、地味に面倒くさくなっている。(地味にがポイント)
また５月からスポット案件として久々にコーディングする機会をいただいたため久々にと言うことでPythonで色々スクラッチで開発と

__スキル__
・今回はAWSのマネージドをフル活用すべく下記を利用した

:::note info
　・EventBridge
　・EC2
　・SNS
:::
　*EC2に関しては賛否あるが結果としてEC2を利用して正解だった(後述記載)

## 要件を詰める

簡単ではあるが、以下の要件とこうなったらいいなみたいのをまずリスト化してみた。その要件に対して要件を満たす条件を当てはめてみた。

:::note warn
・JIRAを利用している

Serverless+GraphQL+NestJS+TypeORM+RDSをAWSにデプロイする

## はじめに

この記事の続きです。

https://qiita.com/shinobu_shiva/items/5590602427e5f4fd838e

前の記事で、GraphQL+NestJS+TypeORM+MySQL+Serverless(offline)という構成でローカル実行することが出来ました。次は、これをデプロイしてAWS上で動くようにしたいと思います。

成果物はこちらにあります。

https://github.com/shinobushiva/nestjs-typeorm-ts-example/tree/step3

## とりあえずAWSにデプロイしてみる

とりあえずは何も考えずにデプロイコマンドを叩いてみます。

“`console:デプロイ実行
$ sls deploy
“`

“`console:デプロイ結果
Deploying compnestjs-typeorm-ts-example to stage dev (ap-northeast-1)

✔ Service deployed to stack compnestjs-typeorm-

【初心者】特徴量エンジニアリング（合成データ）について調べてみた

# 背景・目的
私は、現在データエンジニアリングを生業としています。普段は、データ基盤の構築や、パフォーマンスチューニングなどビックデータに関する業務に従事しています。
ビックデータの収集や、蓄積、分析などの環境構築の経験はそこそこありますが、機械学習による予測や分類などのスキルは持ち合わせていませんでした。
今まで機械学習を避け続けてきましたが、一念発起し学ぼうと思います。

学び方としては、AWS Certified Machine Learning – Specialty（以降、ML試験という。）の勉強を通して、理解を深めていきます。ML試験のガイドの第２分野に、探索的データ解析が登場しましたのでそこから学びたいと思います。

今回は、以下のうち**合成的特徴→合成データ**について学びたいと思います。

> 特徴エンジニアリングの概念を分析/評価する (データのビニング、トークナイゼーション、外れ値、合成的特徴、One-Hot エンコーディング、次元低減)

なお、過去の機械学習の調べてみたシリースは下記にまとめています。
– 2.探索的データ分析
– 2.1.モデリング用のデ