AWS関連のことを調べてみた2022年01月05日

DatabricksにおけるAmazon S3の取り扱い

[Amazon S3 \| Databricks on AWS](https://docs.databricks.com/data/data-sources/aws/amazon-s3.html#mount-aws-s3) [2021/9/3時点]の翻訳です。

:::note warn
本書は抄訳であり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。
:::

[Amazon S3](https://aws.amazon.com/s3/)は、大量のテキストやバイナリーデータのような非構造化データを格納するためのサービスです。

本書では、AWS S3バケットに対するDBFS(Databricksファイルシステム)を用いたバケットのマウント、あるいはAPIを用いて直接アクセスする方法を説明します。

> **重要！**
Databricksランタイム7.3 LTS以降では、アップグレードされたバージョンのS3コネクターを使用します。以下の変更が既存コードに影響を及ぼす場合があります。

– S3Aファイルシステムは`FileSystem.close()

LightsailにWebシステムを構築する手順

Exmentをさくらインターネット上に構築していたんですが、動作がどうも重かったのでAWSに移行することにしました。
その移行手順をメモしておきたいと思います。

# 全体の流れ
1. AWSでLightsailコンソールにログイン
1. 新たにLAMPインスタンスを作成する
1. StaticIPを設定する
1. SSHでログインしてphpmyadminのアクセス設定
1. 旧サーバからDBとファイルを移動
1. httpd.confを設定
1. php.iniを設定

# AWSでLightsailコンソールにログイン
新たにAWSにルートアカウントを登録してLightsailコンソールにログインします。

# 新たにLAMPインスタンスを作成する
新たにLinuxインスタンスを作成するとともにLAMP環境を構築します。
全てLightsailがインスタンス作成と同時に構築してくれます。

https://dev.classmethod.jp/articles/amazon-lightsail-lamp-stack/

# StaticIPを設定する
インスタンスを再起動するとI

（初心者）AWS EduKitでLチカを実行するまで

## はじめに
Edukitを手に入れたのは2021年の11月ごろで、その時に一度Lチカを試してみた。その際にはregistration_helper.pyの実行がうまくいかず、GitHubに質問を投げながら、なんとかかんとか実行できた。
https://github.com/aws-samples/aws-iot-edukit-tutorials/discussions/80
2022年になって、改めて勉強してみようと思ったら、チュートリアルの内容が変わっていて、例に漏れず実行がすんなりできなかったので、引っかかった場所の記録を残しておく。

この記事は、AWS Workshopのチュートリアルに沿ってLチカを実施した時の記録です。チュートリアルは以下のリンクの通りです。

+ [実際に使ったもの](https://edukit.workshop.aws/en/blinky-hello-world.html)
+ [日本語版](https://edukit.workshop.aws/jp/blinky-hello-world.html )

## 引っかかったところ
AWS I

AWS Cloud Practitioner について勉強してわからないことをまとめた ~モジュール１~

## 初めに
最近本業にてAWSに触れることが多くなったので
勉強のために AWS Skill Builderを活用してみました。
その中でそもそもの単語がわからなかったりと多かったので
復習と見返すようのために纏めておきます。
公式を参考にしているので合わせて確認してみてください。
[AWS Cloud Practitioner Essentials(Japanese)](https://explore.skillbuilder.aws/learn/course/1875/play/27620/aws-cloud-practitioner-essentials-japanese-ri-ben-yu-shi-xie-ban)

## クライアントサーバーモデルとは
ユーザーはクライアントを操作して、サーバーにリクエストを送信する。

:::note info
クライアントとは
ウェブブラウザまたはデスクトップアプリケーションのこと
:::

サーバーは、仮想サーバーの一種である Amazon Elastic Cloud Compute (Amazon

AWS上にEC2でRayクラスターを構築し、クラスター上でJupyter notebookを利用

# 概要

RayはPython用の分散実行フレームワーク。様々なライブラリと統合していて、容易に分散コンピューティングを導入できる（らしい）。

こちらを参考にしてAWS EC2でRayクラスターを構築する。その後、Rayクラスター上でJupyter notebookを立ち上げる。これでJupyter notebookを使ってRayを試すことができる。

https://docs.ray.io/en/latest/cluster/quickstart.html

# 前提
– Windows 10 Home
– WSLのUbuntuディストリビューション(Ubuntu20.04)がインストール済み
– AWSのIAMユーザアカウント作成済み（アクセスキーとシークレットキーが手元にある）

# 注意事項
本手順ではEC2を立ち上げるので料金が発生することに注意！

# 手順
1. Dockerコンテナを起動
1. AWS IAMユーザのクレデンシャル情報準備
1. Rayクラスターのコンフィグファイル作成
1. Rayクラスター(AWS EC2)の起動
1. Rayクラスター上でサンプ

Lambda を使用して、Amazon EC2 インスタンスを一定の間隔で停止および起動するにはどうすればよいですか?

教材
–

https://aws.amazon.com/jp/premiumsupport/knowledge-center/start-stop-lambda-cloudwatch/

実作業
–

停止して起動する EC2 インスタンスの ID を取得します
–

EC2の画面から当該EC2インスタンス選択
リージョンも確認しておく

JSON ポリシーエディターを使い IAM ポリシーを作成します
–

IAMの画面からポリシーを選びポリシーの作成をクリック
JSONタブをクリック
コピペして適切なタグをつけて名前をつけて作成

Lambda のための IAM ロールを作成します
–
IAMの画面からロールを作成
さきほどのポリシーをアタッチして
適切なタグをつけて名前をつけて作成

EC2 インスタンスを停止および起動する Lambda 関数を記述する
–
このまま実施します
>
1. AWS Lambda コンソールで、[Create function] クリックします。
2. [Author from scratch] をクリックします。
3. [

VPCサンプルシステムを構築してみた

下記のようなVPCサンプルシステムを構築してみた

インターネットからアクセスされるWebサーバーのEC2インスタンスと
そのWebサーバーからアクセスされるDBのインスタンスからなるシステム
をAWS上に構築するとします。

そのようなシステムのVPCを構築するステップは、次の通りです。

ステップ１、VPCの作成
ステップ２、サブネットの作成
ステップ３、インターネットゲートウェイの作成
ステップ４、ルートテーブルの作成

詳しく構築手順は簡単な動画作成しました
下記をぜひを参照ください。

AWSに趣味があれば、一緒に勉強しましょう。

AWS Amplify フレームワークの使い方Part18〜GraphQL Transform v2 @hasOne/@hasMany/@belongsTo/@manyToMany (旧@ connection)編〜

# はじめに
非常に複雑だった@connectionがv2になってシンプルになって帰ってきました。
今回の変更で、よりAmplifyを始めやすくなったのではないでしょうか。

# 環境
＠aws-amplify/cli 7.6.3

# 定義
今回、公式ドキュメントに定義としては記載がなかったので、ドキュメントを見て分かる範囲で記載しています。

“`
directive @hasOne(fields: [String!])
directive @hasMany(indexName: String, fields: [String!])
directive @belongsTo(fields: [String!])
directive @manyToMany(relationName: String)
“`
## fields
fieldsを指定することで、指定したキーを使って紐付先のテーブルから情報を取得することができます。

## indexName
`@index`で設定したセカンダリインデックスを使って、データを取得することができます。indexNameがない場合は、紐付先

【自学用】01.AWSのしくみ

## はじめに

　私は、去年からエンジニアデビューした者です。

　SESとしてとある現場に参画させていただいており、ごくたまに、AWSでログを追ったり、ビルドしたりといった軽作業を行っております。

　現状、作業に支障は出ていないものの、やはり、AWSに関する知識やスキルが圧倒的に不足しております。

　AWSのシェア率は高く、他の現場でも使われている場合がほとんどなので、今後を見据えた時、やはり必要最低限の知識・スキルを身につけておく必要があると考えました。

　めちゃくちゃ基本的な内容から勉強し始めて、今年中に、AWSの基礎コース・アソシエイトレベルの資格を取得することを目標に取り組んでいきます。

　本記事は、そんな私が自学で学んだことをアプトプットする内容となっております。

　興味のある方は御一読いただき、もしおかしなところがあればご指摘いただければ幸いです。

## 本記事の流れ

1 AWSとは何か？
2 クラウドとは何か？
3 AWS以外のクラウドサービス

## 1 AWSとは何か？

### Amazonが提供するクラウドサービス
![AWSS.png](htt

昔使ったAWSから謎の請求が止まらない人へ

数年前に、UdemyとかProgateで講座を受けて、AWS(AWS Cloud9とか)を使っている人で、なぜか解除できない請求が来ている方に向けてお送りします。

恥ずかしながら、放置して月200円程度払い続けていたので。。。。

## むかし無料で使えた「アジアパシフィック (シンガポール)」リージョンを、そのままにしておくと、請求が来ます。

今は日本リージョンでないと最小限の利用でも無料じゃないみたいです。
一旦AWSのリージョンをアジアパシフィック (シンガポール)リージョンに変えて、諸々の利用を止めると、請求が止まる可能性があります。ぜひお試しください。

DatabricksワークスペースへのAWS PrivateLinkとカスタムDNSの適用

[Custom DNS With AWS PrivateLink for Databricks Workspaces \- The Databricks Blog](https://databricks.com/blog/2021/04/30/custom-dns-with-aws-privatelink-for-databricks-workspaces.html)の翻訳です。

:::note warn
本書は抄訳であり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。
:::

:::note info
2021/4時点の記事です。
:::

> この記事はAmazon Web Services(AWS)との共著です。AWSのシニアソリューションアーキテクトである[Ranjit Kalidasan](https://www.linkedin.com/in/ranjitkalidasan)、パートナーソリューションアーキテクトである[Pratik Mankad](https://www.linkedin.com/in/pratik-mankad-46

Amazon Aurora for PostgreSQLでpg_hint_planを有効化する

# 環境
– Amazon Aurora for PostgreSQL 13.4

> 多分、AuroraではないRDSでも手順は同じだと思います。

# psqlでの操作
(1) pg_hint_planが有効化されているか確認します。

“`bash
postgres=> select * from pg_extension;
oid | extname | extowner | extnamespace | extrelocatable | extversion | extconfig | extcondition
——-+——————–+———-+————–+—————-+————+———–+————–
14346 | plpgsql | 10 | 11 | f | 1.0 | |
78506 |

【備忘録】AWS Amplifyやってみた

#背景
仕事でAWSを触らなくなってしばらく経ったため、AWSでサーバーレスWebアプリ作成してみます。

#AWS Amplify(アンプリファイ)とは
拡張可能なフルスタックウェブおよびモバイルアプリケーションをより高速に構築します。開始も簡単、スケールも簡単。
(公式URL:https://aws.amazon.com/jp/amplify/)

とはいえよくわからん…

##結論
CodeCommitやGitHubにあるコードをデプロイまで実行して公開してくれる。
(circleUIみたいなもの？)

#やり方
下記サイト見たらできました。先達の方々ありがとうございます。

サーバーレスのウェブアプリケーションを構築１ AWS Amplify を使った静的ウェブホスティング
https://dev.classmethod.jp/articles/lim-serverless-app-1-amplify/

筆者が作ったサイト
https://master.d3001cga5i9ibc.amplifyapp.com/

#終わりに
GitHubじゃなくて、CodeCommit

オンプレミスIdPからのAWS環境へのアクセスについて

#はじめに
オンプレミスとの連携によるAWS環境へのアクセス認証について、改めて整理した。

#出てくるワードたち

– SAML(Security Asserrion Markup Language):
SSO(シングルサインオン)を実現する仕組みの1つ。OASISによって作成された異なるドメイン間でユーザ認証を行うための認証情報の規格
– SP(Service Provider): サービスの提供側、SAMLの認証情報を利用する
– IdP(Identify Provider): 認証情報を提供するシステムのこと(Active DirectoryやG Suiteなど)
– SAML Assertion: IdPとSPでやりとりするユーザの認証情報のこと
– SSO:１組のIDとパスワードで認証を行い、複数のサービスにログインできる仕組みのこと

#アクセス認証パターン1
〜AWSマネージメントコンソールへのアクセス
![snap_AWS_SSO.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2342

AWS MFAを使用した多要素認証（２段階認証）の設定手順

## 内容

MFAを使用した多要素認証（２段階認証）の設定手順。
[IAMユーザーの作成方法](https://qiita.com/tarian/items/324e986db159f34d7ead)

## 手順

– IAMの管理画面 ⇒ 左ペイン『ユーザー』 ⇒ MFAを割り当てるユーザーをクリック

– 『認証情報』タブ ⇒ 『MFAデバイスの割り当て：管理』

– 『仮想MFAデバイス』 ⇒ 続行
![image.png](https://qiita-image-store.s3.ap-nort

AWS IAMユーザー作成手順

## 内容
AWS IAMユーザー作成手順

## 手順

### AWSアカウントの開設

[AWSアカウント開設](https://aws.amazon.com/jp/register-flow/)

### IAMユーザー作成

– コンソールでIAMを選択

– 左のメニューから『ユーザー』を選択し、『ユーザーを追加』

– IAMユーザー名を入力、『パスワード – AWSマネジメントコンソールへのアクセス』にチェックし次のステップへ
![image.png](https://qiita-imag

FTP接続で「データ接続が確立できません: ECONNREFUSED – サーバーによって接続が拒否されました」の対処法

## 状況
既に確立されているサーバーに普段通りにFTP接続を試みた際にタイトルのエラーが発生。
この直前にはEC2の再起動を行なっている。
FTPサーバー：vsftpd
## 対処
vsftpdの起動を確認。activeを確認。

“`
sudo systemctl status vsftpd
“`
念の為、ユーザー名、パスワードの確認。こちらも私の場合、問題ないようでした。

“`
$ sudo cat /etc/vsftpd/login.txt
“`
vsftpdの設定ファイルも調査。こちらに関しても問題なさそう。

“`
$ sudo
cat etc/vsftpd/vsftpd.conf
“`
“`
pasv_enable=YES
pasv_addr_resolve=YES
pasv_address=[サーバーIPアドレス]
pasv_promiscuous=YES
pasv_min_port=60001
pasv_max_port=60010
use_localtime=YES
force_dot_files=YES
“`

FTPクライアントをエラーログを

Amazon SageMaker でカナリアデプロイをサクッと！

# はじめに
[Amazon SageMaker 推論エンドポイントに新しいデプロイガードレールが追加](https://aws.amazon.com/jp/about-aws/whats-new/2021/11/new-deployment-guardrails-amazon-sagemaker-inference-endpoints/) されました。ブルー/グリーンデプロイ機能に canary と linear の 2つのトラフィックシフトモードが追加され、CloudWatch アラームを事前指定してレイテンシーやエラーレートなどのアラームが作動した場合、自動的にデプロイをブルーフリートにロールバックすることができます。

[こちらにサンプルノートブックがある](https://github.com/aws/amazon-sagemaker-examples/tree/master/sagemaker-inference-deployment-guardrails) ので、こちらを見ながら使い方を確認したいと思います。

サンプルノートブックは Amazon SageMaker S

自分のプロフィール

##■プロフィール

札幌在住 27 歳のクラウドエンジニアです。
自分なりにこれまでの経歴などをまとめてみました。

まだ 20 代なのでフリーランスとして活躍してみたいという希望があり
今後のキャリアを考える機会になればと思って、自己満足のために残しておきます。
(現在正社員ですが、案件があれば参画したいです。札幌/関東圏 であれば是非お話を聞かせてください。)

##■これまでキャリア

2017年 3月 大学卒業
2017年 4月 IT商社へ新卒入社
– フィールドエンジニア
– インフラエンジニア
– テクニカルサポートエンジニア
2020年 9月 SES企業へ入社
2021年 9月 クラウドエンジニアとして現職へ

2度の転職を経験しています。

#####＜1社目(IT商社)＞
新卒入社した1社目では、各職種を1年間ずつ経験を積むことができました。
色々なことにチャレンジできる環境にあったため、以下のような経験をさせていただきました。

・担当製品の要件定義 ～ 運用保守までを経験
・社内 DX

EC2でAmazon Chime SDKを動かしたときにKMSエラーで困った件

# この記事の概要
以下の記事を参考にAWS EC2上でAmazon Chime SDKを動かそうとしたら、AWS KMS関連のエラーが理解できず困ったが、最終的に「とりあえず」動くようになった話。
Amazon Chime SDKをEC2を使ってサクッと動かしてみる

# 状況
* 知人から記事を参考にChime SDKをとりあえず動かそうとしたら、うまくいかないので助けてほしいと依頼された。
* 概要にある記事を参考にEC2（t2.small）上で、Amazon Chime SDKのdemos/serverlessを起動してみた。
* CloudFormation eventsを確認しつつ、不足したIAMポリシーをchimeTestUserに順次追加して解決済み。
* IAMポリシーの追加では、KMSのエラーが解決できなかった。
* 筆者のAWS関連技術は低い。
* EC2のログインユーザーは一般ユーザーで、本記事ではchimeTes