AWS関連のことを調べてみた2021年03月30日

AWS EC2からEC2にSSH接続するスクリプト

# はじめに 踏み台サーバーなどのEC2から別のEC2にSSH接続する際、毎回IPアドレスを確認するのが面倒なので、AWS CLIを用いたシェルスクリプトを作成しました。 # スクリプト EC2のNameタグからIPアドレスを取得する。 ファイル名を“`{Nameタグ}.sh“`にする必要がある。 “`sh:{Nameタグ}.sh #!/bin/sh readonly USER_NAME=ec2-user readonly KEY_FILE={秘密鍵}.pem readonly TAG_NAME=${0%%.*} readonly IP_ADDRESS=$(aws ec2 describe-instances –filters “Name=instance-state-name,Values=running” “Name=tag-key,Values=Name” “Name=tag-value,Values=${TAG_NAME}” –query ‘Reservations[].Instances[].NetworkInterfaces[].PrivateIpAddres

AWS Certified Machine Learning Specialtyに4日で合格した勉強法

#はじめに AWS Certified Machine Learning Specialtyを受験して合格しました。この試験は、AWSの世界観や知識 ＋ データ分析や機械学習まわりの一般的な知識の両方が問われるもので、合格すればAIスキルを保有していることを証明する一つの手段になります。これから受験しようと思っている方に少しでも参考になれば幸いです。 #本記事が有用な人 – 既にディープラーニング等の機械学習のアルゴリズムは一通り理解しており、機械学習に関連するAWSサービスを新たに学習することがメインとなる人 – 事情により試験勉強に時間を割けない人 – 計画的に長期で試験勉強するよりも、短期で集中して勉強することが得意な人 – 機械学習の知識や各サービスの深い理解は後回しにして、とりあえず合格することを優先したい人 筆者の受験前のステータスは以下の通りです。 – 業務で機械学習を扱ったり学生時代にAIの研究をしていたため、機械学習まわりの知識が最低限はある – 業務でデータ分析や機械学習に関連するAWSのサービスには触れたことがない（クラウド歴ほぼなし） 今回、AWSには

WinSCPでAWSのec2-userで管理者権限(sudo)を使う方法

セッションの設定　-> SCP/シェル -> シェルの欄に「sudo -s」を入力 

CloudFormation のスタックネスト機能をいろいろ考えながら使ってみる

# はじめに \_s\_\_o\_ です。 便利な CloudFormatin ですが、あれもこれもと記載しているうち、コード量がついつい多くなってしまいます。そこで便利なのが [スタックのネスト機能](https://docs.aws.amazon.com/ja_jp/AWSCloudFormation/latest/UserGuide/using-cfn-nested-stacks.html) 。スタックを入れ子にすることで、スタック (コード) を分割することができます。たとえば、子スタックとして VPC 用スタック & EC2 用スタックを、親スタックとしてラッパースタックを準備します。この場合、ラッパースタックだけをキックすれば、VPC 用スタックも EC2 用スタックも実行されます。 今回は、このネスト機能を、色々考えながら使ってみようと思います。 # スタック分割の考え方 まず初めにスタック分割の考え方、つまりはスタックの設計について少し検討してみたいと思います。単純にコードを分割するだけもいいと思いますが、折角なのでスタック内の要素の特性なども考慮しながら、良さ

CloudFormation でオンプレ環境を模した NW を造ってみる

# はじめに \_s\_\_o\_ です。 AWS で検証をする際、お客様オンプレ環境が必要になる場合があります (Site-to-Site VPN 経由での接続など)。 とは言えど、おいそれと簡単に用意できるものではないので、代替として「オンプレ環境を模した」 AWS の NW を構築します。手動でポチポチと作成してもいいのですが、あくまで検証用途 (=使い終わったらすぐに消す) の想定のため、環境の改廃がしやすい CloudFormation を使いたいと思います。 # 検証 NW の構築 ## 構成イメージ 赤太字の箇所が、CloudFormation で作成する部分です。  ## CloudFormation のコード (YAML) 細かい中身は [前提事項] をご確認ください。 “` AWSTemplateFormatVersion:

StaticHostingサイトをCloudformationでさっと作る

CloudFront経由のStaticHostingサイトをCloudformationで作ります ## インフラ生成 こちらで公開頂いているcfnテンプレートを使いました。ありがとうございます??? https://dev.classmethod.jp/articles/s3-cloudfront-with-oai-by-cloudformation/ ### セキュリティについて なにも設定しなくても`AWS Shield Standard`によってDDos対策などは自動的に行われます。 https://aws.amazon.com/jp/shield/getting-started/ 追加のセキュリティルールが必要な場合は、WAFを作成し`WebACLId`にて指定します。 https://docs.aws.amazon.com/ja_jp/AWSCloudFormation/latest/UserGuide/aws-properties-cloudfront-distribution-distributionconfig.html ## S3側の公開設定 上記のイ

Amazon VPCの解説【AWSの基礎学習】

こんにちは、yassanです。
今回は「Amazon VPCの解説【AWSの基礎学習】」を紹介します。

AWSの中でもっとも土台となるサービスがVPCです。

「会社でAWSをやることになったけど、右も左もわからない！」
「ざっと調べて見たけど、ふわっとした理解で不安…」

このような方も多いのではないしょうか。

今回は、そのような方に向けて、Amazon VPCについて基礎から解説します。
この記事を読むことで、AmazonVPCについて理解することができると思います

Open Policy Agentの活用事例 (AWS上での稼働)

Hitachi America, Ltd. R&D プラットフォームラボラトリの 大崎 裕之です。現在サンタクララで活動しております。 オープンソースのポリシーエンジンであるOpen Policy Agent (以下OPA) は、近年普及が進み、Cloud Native Computing Foundation (CNCF) でGraduationとなりました。OPAは、Kubernetesなどのインフラのアクセス制御に活用できるだけでなく、Webサービスの認可にも活用できます。本記事では、**Webサービス向けのOPAの活用事例**について紹介します。 ## 本事例の特徴 OPAをAmazon Web Services (以下AWS) 上で稼働し、Webサービスの認可処理を行わせるという活用事例を紹介します。 本事例では、AWS Lambda/API Gatewayを使って稼働しているWebサービスを題材とします。 – 事前にOPAをAWS Lambdaで稼働させておきLambda Authorizerに設定しておく – Webサービスは、ユーザからリクエストを受信。Webサ

Red Hat OpenShift Service on AWS(ROSA)を動かしてみた！

こんにちは！ 今回はAWSで新しくGAしたサービスのRed Hat OpenShift Service on AWS(ROSA)についての記事となります。 そもそもROSAとは「AWSでマネージドされたOpenshift」となります。今までOpenshiftをAWSで利用しようと思うと、自分で構築する必要がありMasterNodeの管理なども自身でおこなわなければならず少しハードルが高かったです。 今回登場したROSAを利用することでAWSマネージドサービスとしてOpenshiftが使えるのは使い勝手上がるのでないかと思います。 ## Openshiftを利用するメリット – 学習コストを抑えられる – オンプレでもパブリッククラウドでも同じ機能・UIを利用することができる – Kubernetesのディストリビューションの中でもかなりメジャー – 金融などでも実績がある そんなOpenshiftですがAWS上で利用しようすると先述のように管理のオーバーヘッドが大きかったのですが、ROSAでクイック(実際そんなにクイックじゃないかもですが)に構築できるのはう

AWS IoT Coreのカスタムジョブでシェルスクリプトを配信して実行させる

#はじめに 今までGreengrassのOTAアップデートを何度か試してきました。 ただ、それだけでなく更新用のファイルを配信→実行までしたい、ということでカスタムジョブを使ってみます。 今回は以下の記事を大いに参考にさせていただきました。 参考：[AWS IoTのジョブ機能とモノの動的グループを利用してデバイスに配布するソフトウェアを管理する](https://dev.classmethod.jp/articles/iot-job-and-dynamic-thing-group/#toc-8) #1　必要なファイルの作成 今回はデバイスにシェルスクリプトを配信→実行ができるかまでを検証します。 実行できたことも分かるよう、シェルスクリプトは/tmp配下にログを吐くようなものを作成しました。 1.以下の通りシェルスクリプトを作成する “`bash:test.sh #!/bin/bash DIR=/tmp FILE=$DIR/”update-test.log” DATE=`date “+%Y-%m-%D %H:%M:%S”` if [ -f $FILE ] ; then

AWS Data Pipelineってなんだろ？

名前だけは聞いたことあるけど、どんなサービスなのか知らないので調べてみました。 # ドキュメント [AWS Data Pipeline（データの移動や変換を簡単に自動化）| AWS](https://aws.amazon.com/jp/datapipeline/) ## ざっくり – データの移動や変換を簡単に自動化 – 指定された間隔で、AWS のサービスやオンプレミスのデータソース間で信頼性の高いデータ処理やデータ移動を行うことを支援するウェブサービス – 保存場所にあるお客様のデータに定期的にアクセス – 必要なスケールのリソースで変換と処理を行い、その結果を Amazon S3、Amazon RDS、Amazon DynamoDB、Amazon EMR のような AWS サービスに効率的に転送 – 耐障害性があり、繰り返し可能で、高可用性を備えた、複雑なデータ処理ワークロードを簡単に作成 3行でまとめると、 “` 保存場所にあるデータに定期的にアクセスし、 最低限のリソースで変換や処理を行い、 AWSサービスに転送することができるサービス “` というかんじでしょう

【備忘録】Greengrass(V1)のMQTTサーバ証明書について

#1　概要 Greengrass(V1)では、GreengrassデバイスがGreengrassコアデバイス（以下、コアデバイス）接続する際にグループ証明書を使っています。 Greengrassデバイスはデバイス証明書を用いてコアデバイスのMQTTサーバ証明書を検証します。 参考：[AWS IoT Greengrass セキュリティの概要](https://docs.aws.amazon.com/ja_jp/greengrass/v1/developerguide/gg-sec.html) コアデバイスのMQTTサーバ証明書はデフォルトの有効期限が7日間となっています。 有効期限が切れる前のタイミングでコアデバイスがIoT Greengrassサービス（クラウド側）に接続し、新たなMQTTサーバ証明書を取得します。 当然、このタイミングでクラウド側と接続できる必要があります。 MQTTサーバ証明書の有効期限はデフォルトの7日から30日まで変更できます。 ベストプラクティスは短い期間でのローテーションです。 ※ただし、申請すれば31日以上にもできるとのこと 参考：[AWS IoT G

Red Hat OpenShift Service on AWS (ROSA) Walkthrough

## はじめに * ~~やっと~~ ROSA(Red Hat OpenShift Service on AWS)がGAされました。 * AWSの[ブログ](https://aws.amazon.com/jp/blogs/aws/red-hat-openshift-service-on-aws-now-generally-availably/)に以下文言がありましたが、OpenShiftが実家になりつつある人々にはGood newsなのです。 * `we are continually thinking about how we can make them feel at home on AWS.` * 尚、以降の手順等はかなり適当に実行しているので、誤りやセキュリティ的な問題を抱えているものがあると思います。悪しからず。 ## ROSAとは * 詳細は、[AWSのサイト](https://aws.amazon.com/jp/rosa/)、若しくは、[Red Hatのサイト](https://www.openshift.com/products/amazon-opensh

AWS主要サービス概要

# はじめに 今回、普段利用しているAWSについて一から勉強し直すことにしました。 それに伴い、自分なりにまとめた内容をここにまとめていきます。 # そもそもAWSとは ### AWSサービス開始までの経緯 AWS（Amazon Web Service）は、Amazon社が提供する**クラウドサービス**です。  元々、Amazon社が自社のサイト、[Amazon](https://www.amazon.co.jp)がどんどん大きくなり、世界有数のECサイトへと成長しました。 しかし、成長する上でさらなるビジネス課題が生まれました。 + リコメンド等で活用するために、過去の注文履歴を保存しておきたい。 + Amazonアソシエイト(アフィリエイト)プロ

室内の温度と湿度をDynamoDBに書き込む

[HiLetgo ESP32 ESP-32S NodeMCU開発ボード2.4GHz WiFi + Bluetoothデュアルモード](https://qiita.com/tosihr/items/3068ce10a635fc63aed2)の記事で ESP32ボードの動作確認ができました。今度は、室内の温度と湿度をAWS IoTを使って、DynamoDBに書き込んでみました。温度と湿度の取得にはDHT22センサを使用しました。 [Building an AWS IoT Core device using AWS Serverless and an ESP32](https://aws.amazon.com/jp/blogs/compute/building-an-aws-i

AWSソリューションアーキテクト – プロフェッショナルの勉強方法について書いていきます

# はじめに 少し前の話になりますが、ソリューションアーキテクト – プロフェッショナル（SA-Pro）に合格したので記憶が薄れる前に勉強方法をメモっておきたいと思います。 受験の動機なんかは以下の記事にも書いていますので、もし興味がある方はご覧ください。 https://qiita.com/hiro-tech1192/items/8417334ebc37008e35c0 ちなみに以下に記載している内容は、あくまで私が試行錯誤しつつ実践したものとなります。勉強方法は千差万別なので、人によって合う合わないがあると思いますので予めご了承ください。 # 勉強期間 ２０２０年の２月にソリューションアーキテクト – アソシエイトに合格し、その後６月にSA-Proを取得しました。期間的には４か月間くらありましたが、この間ずっと集中して勉強していたわけでもないので賞味１か月半～２か月くらいかと思います。 私の場合色々あって間延びしてしまいましたが、ズルズルいくと勉強自体が苦痛になってしまうので、短期的に集中して早く成果を出していくほうがモチベーションを保てると思います。 # SA-Pro

Amazon SageMakerで実現する機械学習モデルの監視技術

初版: 2021年3月29日 著者: 株式会社日立製作所 橋本恭佑、Nguyen Ba Hung ## はじめに AI技術への注目の高まりに伴い、機械学習技術をビジネスへ適用するニーズが増えています。 ビジネスに機械学習技術を用いる場合、企業はまず業務に関係するデータを用いて機械学習モデルを作成します。 このとき利用されるデータは特定の時点より前のデータであり、時間が経過しても変化しません。 一方で、実際の業務で利用されるデータは時間の経過とともに変化します。 作成した機械学習モデルを業務へ適用してしばらくすると、データの傾向が変化し、作成した機械学習モデルの精度が低下したり、性別や住所の様な特定のデータに偏った推論が行われる現象が起こります。 前者の現象はデータドリフト、後者の現象はバイアスと呼ばれ、機械学習モデルをビジネスへ適用するSEにとって、データドリフトやバイアスなどの発生を迅速に検知することは、 機械学習モデルをビジネスへ効果的に適用する上で極めて重要といえます。 本投稿では、機械学習モデルをビジネスへ適用するSEを対象として、機械学習モデル及

AWS Amplifyの認証情報を他のAWSサービスのSDKで流用した[Swift Storyboard]

AWS Amplifyを使うとモバイルアプリで簡単に認証機能を搭載できますが、Amplifyの対応していないAWSサービスを使わなければならない場面があったのでメモ。 AWS歴半年の初学者の備忘録ですので、誤り等あればご指摘いただけると幸いです。 # 前提 – Amplify CLIでプロジェクトに認証機能を追加している（[参考:AWS AmplifyによるiOSアプリ開発入門（Part1）](https://qiita.com/papi_tokei/items/55d48a1a9a9e56d7cbd4)） – 対応するIDプールのIAMロールに必要なポリシーをアタッチしている 具体的には *amplify-xxxx-yyyy-zzzz-authRole-idp* のようなロール名です # 実装 認証が必要なSDKの直前で以下を追記 “`swift let credentialsProvider = AWSMobileClient.default().getCredentialsProvider() let configuration = AWSServiceConfigu

AWS SAP (Solution Architect Professional) 受験記

## はじめに \_s\_\_o\_ です。 ちょうど 1 年ぐらい前に AWS SAP (AWS ソリューションアーキテクチャープロフェッショナル) 試験を受験したので、他の方の今後の参考になればと、記録を残します。 ※2020 年の受験記のため、2021 年 3 月現在の試験制度と内容が乖離している可能性があります。あらかじめ、ご了承ください。 [AWS Solution Architect Professional](https://aws.amazon.com/jp/certification/certified-solutions-architect-professional/) ## 受験の背景 (動機) しばらく AWS から離れているので、記憶の気化を防ぐ目的で、受験を決意しました。 ## AWS SAP の特徴 下記のサンプル問題をご参照ください (英語)。 [サンプル問題](https://d1.awsstatic.com/Train%20%26%20Cert/docs/AWS_certified_solutions_architect_profession

IAM Access Analyzer とは

## 勉強前イメージ IAMのアクセスした分析見れる的な？ ## 調査 ### IAM Access Analyzer とは リソースのポリシーを確認して、意図せぬ公開設定などがされていないか 検出し、可視化する機能になります。 ### 対応しているリソース – s3 – IAMロール – KMSキー – lambda関数・レイヤー – SQSキュー – Secrets Managerシークレット ※2021/03/29時点 詳細は [AWS Identity and Access Management のユーザガイド](https://docs.aws.amazon.com/ja_jp/IAM/latest/UserGuide/what-is-access-analyzer.html) をご確認ください ### 設定方法 – マネジメントコンソールから確認 IAM > アクセスレポート > Access Analyzer から設定することが出来ます ![2021-03-29 IAM Management Console – Google Chrome 2021-