- 1. CodeDeploy – EC2デプロイのログデータの確認方法
- 2. Lambdaを定期的に実行する
- 3. lambdaでnpm moduleを使う方法
- 4. CloudFormationでALBアクセスログ設定時のエラー
- 5. SAAの勉強でわからなかった用語をメモ
- 6. AWS Cloud9で「Failed to write to XXX」エラーがでてファイル保存ができない際の対応
- 7. Ruby・Railsで作ったポートフォリオをPHP・Laravelでリメイクしてみた
- 8. RainのaliasをPowerShellとWSLで設定する
- 9. AWS Backup とは
- 10. lightsailのAmazonLinux2でLAMP環境 + phpMyAdmin構築
- 11. Scrapy+Cloudsearchでサイト横断検索機能を作る
- 12. Serverlessテンプレートでは, 共通部分はGlobalsにまとめよう
- 13. netatomのstationデータをAWS Elasticsearch Serverへ流し、そのデータ描画をする
- 14. AWS CLI上からCognito カスタム属性を追加したい
- 15. EC2インスタンスに一番簡単にログインする方法
- 16. Athenaで基礎からしっかり入門 分析SQL（Python・Pandasコード付き） #3
- 17. Amazon Auroraを自動停止・起動する
- 18. AWS 認定ソリューションアーキテクト アソシエイト 合格するまで
- 19. AWS CDKでReactをCloudFront+S3にデプロイする
- 20. AWSの各サービスのWeb検索回数の比較表
CodeDeploy – EC2デプロイのログデータの確認方法
CodeDeployで作成されたログデータを表示するには、CloudWatch or インスタンスにログインしてログファイルを確認します。今回は後者です。
デプロイ先のEC2にssh接続し以下のコマンドで確認できます。
“`
tail -F /var/log/aws/codedeploy-agent/codedeploy-agent.log
“`## 参考
[公式サイト](https://docs.aws.amazon.com/ja_jp/codedeploy/latest/userguide/deployments-view-logs.html)
Lambdaを定期的に実行する
## 前提
定期的に実行したいLambdaが作成されていること。## 手順
1. 定期実行用のCloudWatch Events のルールを作成する
1. 1.のイベントをLambdaに紐づける### 定期実行用のCloudWatch Events のルールを作成する
Amazon CloudWatch Events とは
ざっくり言うと、AWSの各種リソースを監視して、設定したルールに該当した時にイベントを発火させるサービス。
>Amazon CloudWatch Events では、Amazon Web Services (AWS) リソースの変更を記述した、システムイベントのほぼリアルタイムのストリーミングを配信します。すぐに設定できる簡単なルールを使用して、ルールに一致したイベントを 1 つ以上のターゲット関数またはストリームに振り分けることができます。CloudWatch Events が発生すると、運用上の変更が認識されます。CloudWatch Events は、オペレーションの変更に応答し、必要に応じて、応答メッセージを環境に送り、機能をアクティブ化し、変
lambdaでnpm moduleを使う方法
## 前提
Lambda Functionが作成されていること。
ローカル環境にnpmがインストールされていること。## 手順
必要な作業は下記
1. 使いたいnpmライブラリをローカルにインストールしてzip化する
1. Lambda Layerを1.のzipをもとに作成し、Lambda Functionと紐づける
1. Lambda Functionのコード上からnpmライブラリを呼び出すLambda Layerとは
>Lambdaレイヤーは、追加のコードまたはデータを含むことができる .zip ファイルアーカイブです。レイヤーには、ライブラリ、 カスタムランタイム 、データ、または設定ファイルを含めることができます。レイヤーを使用すると、コードの共有と責任の分離を促進し、ビジネスロジックの記述をより迅速に繰り返すことができます。
https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/configuration-layers.html### 使いたいnpmライブラリをローカルにインストールしてzip化する
今回はnpmラ
CloudFormationでALBアクセスログ設定時のエラー
#1. 背景
CloudFormationでALBを構築する際、アクセスログ設定を記述したがバケットポリシー関連でエラーが出てハマったので、備忘録として書きます。#2. エラーメッセージ
以下のようなメッセージが出てハマりました。“`
Access Denied for bucket: {バケット名}. Please check S3bucket permission (Service: AmazonElasticLoadBalancing; Status Code: 400; Error Code: InvalidConfigurationRequest; Request ID: XXXXX; Proxy: null)
“`#3. YAML記述（修正前）
ALB, S3記述箇所は以下。（東京リージョンでデプロイ前提なのでPrincipalは直打ちしてます。）“`yaml:template.yml
# ————————————————————#
# S3 for Inter
SAAの勉強でわからなかった用語をメモ
### Route53 DNSのレコードタイプについて
Aレコード： IPv4でホスト名とIPアドレスの関連付けを定義する
AAAAレコード： IPv6でホスト名とIPアドレスの関連付けを定義する
CAAレコード： ドメイン名の登録者が、登録されたドメイン名に対応する証明書の発行を許可する認証局（Certification Authority：CA）を指定するリソースレコード
CNAMEレコード： 別名に対する正式名を指定するためのリソースレコード acme.example.com などの現在のレコードの名前に対する DNS クエリを、別のドメイン (example.com、example.net など) またはサブドメイン (acme.example.com、zenith.example.org など) にマッピング
DSレコード： 親ゾーンに設定される、子ゾーンのDNSKEYリソースレコードを参照するリソースレコード
MXレコード： mail exchange（メールサーバー、メールを配送するホスト）を指定するためのリソースレコード
NAPTRレコード： 名前付け権限ポインタ (N
AWS Cloud9で「Failed to write to XXX」エラーがでてファイル保存ができない際の対応
#エラー内容
・Cloud9でスクリプトを編集して保存しようとしたら、“`Failed to write to [scriptの本文] [object Object].“`のエラーが表示されファイルが保存できなくなった。
#原因
**EC2がマウントしているEBSボリュームに空き容量がないため。**“`
ec2-user:~/environment $ df -h
Filesystem Size Used Avail Use% Mounted on
devtmpfs 474M 0 474M 0% /dev
tmpfs 492M 0 492M 0% /dev/shm
tmpfs 492M 460K 492M 1%
Ruby・Railsで作ったポートフォリオをPHP・Laravelでリメイクしてみた
# 目次
| 番号 | 項目 |
|:-:|:–|
| 1 | [はじめに](https://qiita.com/drafts#1%E3%81%AF%E3%81%98%E3%82%81%E3%81%AB) |
| 2 | [URL](https://qiita.com/drafts#2url) |
| 3 | [2つの言語を学習した理由](https://qiita.com/drafts#32%E3%81%A4%E3%81%AE%E8%A8%80%E8%AA%9E%E3%82%92%E5%AD%A6%E7%BF%92%E3%81%97%E3%81%9F%E7%90%86%E7%94%B1) |
| 4 | [工事現場情報サイト（PHP、Laravelで作成）](https://qiita.com/drafts#4%E5%B7%A5%E4%BA%8B%E7%8F%BE%E5%A0%B4%E6%83%85%E5%A0%B1%E3%82%B5%E3%82%A4%E3%83%88phplaravel%E3%81%A7%E4%BD%9C%E6%88%90) |
| 5 | [Construc
RainのaliasをPowerShellとWSLで設定する
# はじめに
最近CloudformationのCLIツールであるRainが使いやすいと聞くことがあったので、まずはインストールと設定からやってみることにしました。
https://github.com/aws-cloudformation/rainただ、極力自分の環境を汚したくないという思いもあり、以下の記事の下部にあるDockerfileを参考にコンテナ環境でRainを実行させたいと思います。
https://dev.classmethod.jp/articles/try-cloudformation-rain-on-windows/毎回docker runコマンドを実行するのは手間なので、よく使用するPowershellとWSL(ubuntu20.04)でdocker runコマンドをaliasに設定して、Dockerを使っていることを意識せずにできるようにしてみます。
# 環境
Windows 10 Home
PowerShell 5.1.19041.1151
Ubuntu-20.04
Rain v1.1.2※wslでDockerが実行できる環境は既に設定済みの前
AWS Backup とは
## 勉強前イメージ
バックアップを扱うのはわかるけど、
いろんなサービスのバックアップを扱うのかな？## 調査
### AWS Backup とは
バックアップの一元管理と
バックアップに関してのモニタリングが可能です。### AWS Backup の特徴
– バックアップの集中管理
中央バックアップコンソールを使用してバックアップポリシーを設定することで
サービス全体のアプリケーションのデータをバックアップすることが出来ます。– バックアッププロセスの自動化
バックアップスケジュールや、保存の管理、ライフサイクルの管理も自動化でき、
独自にスクリプトを作成する必要がありません。
バックアップの時期と方法を定義するだけなので、
複数のバックアッププランを作成することも可能です。– バックアップコンプライアンスの向上
バックアップポリシーの適応やバックアップの暗号化に関して、
バックアップに関するコンプライアンスの基準を満たすことに役立ちます。
また、サービス全体のバックアップを管理することで
監査を実行することが容易です。### AWS Backup
lightsailのAmazonLinux2でLAMP環境 + phpMyAdmin構築
####はじめに
色々なサイト見ながら構築していったところ色々つまづいたのでこれだけ見れば構築できるようにまとめました
**環境**
AmazonLinux2
Apache2.4.8
MySQL8.0
PHP7.4##LAMP環境構築
####Amazon Linux 2 最新状態にする
“`
sudo yum -y update※オプション -y を付けると途中でインストールしますかという確認にyを入力しなくていい
“`
####Apacheインストール
“`
#apacheインストール
sudo yum -y install httpd#apacheバージョン確認
httpd -v
“`####Apache起動
“`
sudo service httpd start
“`####Apache自動起動の設定
“`
# 自動起動設定
sudo systemctl enable httpd#自動起動になっているか確認
#enabledと表示されれば自動起動になっている
sudo systemctl is-enable
Scrapy+Cloudsearchでサイト横断検索機能を作る
仕事でサイト横断検索機能を開発することがあったので、その構成や出来上がるまでの過程について触れていきます。
# 前提条件
– 自社ECサイトを複数出店している
– 各ECサイトはDBと連動した動的なものではなく、商品情報ベタ書きの静的サイト# 社内からの要望
１つのサイトから別サイトの商品への誘導もスムーズに行いたいので、自社ECサイトの商品の横断的に検索できる機能が欲しい# 技術選択
– CloudSearch
– 検索DBが必要
– サイト内検索機能などで調べているとCloudSearch/ElasticSearchが良さそう
– 今回はCloudSearchの機能で十分かつ使いやすかったのでこちらを採択
– Scrapy
– CloudSearchにインプットする辞書データが必要
– 静的サイトなのでWebスクレイピングで収集したものを加工すれば辞書データができそう
– WebスクレイピングにはPythonフレームワークの[Scrapy](https://scrapy.org/)が便利そう
– AWS Batch
Serverlessテンプレートでは, 共通部分はGlobalsにまとめよう
こんな感じで, ServerlessのTemplateにリソースを並べていませんか?
“`yaml
AWSTemplateFormatVersion: ‘2010-09-09’
Transform: AWS::Serverless-2016-10-31# 略
Resources:
SampleFunction:
Type: AWS::Serverless::Function
Properties:
CodeUri: app/
Handler: app.sample
Role: !Ref RoleArn
Environment:
Variables:
aaa: bbb
ccc: ddd
Layers:
– !Ref MyLayer
MemorySize: !FindInMap [EnvMap, !Ref Env, LambdaMemorySize]
Runtime: python3.8
Tim
netatomのstationデータをAWS Elasticsearch Serverへ流し、そのデータ描画をする
## この記事は何？
前の記事の続きとなります。
netatmoのデータ取得ができたので、このデータを使ってAWS Elasticsearch Serverでデータ取得から描画まで行います。https://qiita.com/hiroyuki_kawahara/items/abb25e90f024cbece732
## AWS Elasticsearch Serviceとは？
概要だけつまむと、データレイクのElasticsearchと可視化BIツールのkibanaが合体したサービス。各サービスの結合と必要な設定を担当してくれます。
https://aws.amazon.com/jp/elasticsearch-service/
## AWS Elasticsearch Serviceの環境構築
AWS Elasticsearch Serviceの新規環境構築していきます。
## 前提
追加したいカスタム属性が設定されていること （以下画像であればenvが設定されていること）
※もしかしたら必要ないかもしれませんが、筆者は先に設定して作業を行いました。
## 作業内容
実行コマンドは以下“`bash
aws cognito-idp admin-update-user-attributes –user-pool-id xxx
EC2インスタンスに一番簡単にログインする方法
EC2インスタンスにログインする方法はいくつかありますが、その中でも一番簡単な`Instance Connect`について説明します。
ブラウザの操作だけでログインできるので非常に簡単です。ssh keyなどの設定は不要です。（インスタンス作成時にキーペアの登録は必要）
とりあえずすぐログインしたい時には重宝します。# 1. EC2インスタンス一覧画面を開く
いろいろ方法はあると思いますが、もしわからない場合は、以下のキャプチャを参考にしてください。
サービス検索窓に`EC2 インスタンス`と入力すると出てくる`インスタンス`というリンクをクリックすればOKです。
# 2. ログインしたいEC2インスタンスIDをクリックする
![スクリーンショット 2021-08-14 13.02.
Athenaで基礎からしっかり入門 分析SQL（Python・Pandasコード付き） #3
今まで複雑なデータ操作・分析などはPythonでやっており、SQLは普通のアプリ開発程度のライトなものしか触って来なかったのですが、やはり分析用の長いSQLなども書けた方がやりとり等で便利・・・という印象なので、復習も兼ねて記事にしておきます。
また、SQLに加えて検算も兼ねてPythonやPandasなどを使ったコードもSQLと併記していきます（Pythonで書くとどういった記述が該当するのかの比較用として使います）。
※長くなるのでいくつかの記事に分割します。本記事は3記事目となります。
# 他のシリーズ記事
※過去の記事で既に触れたものは本記事では触れません。
`#1`:
用語の説明・SELECT、WHERE、ORDER BY、LIMIT、AS、DISTINCT、基本的な集計関係（COUNTやAVGなど）、Athenaのパーティション、型、CAST、JOIN、UNION（INTERSECTなど含む）など。
https://qiita.com/simonritchie/items/0d84646e3db940e98b14
`#2`:
GROUP BY・HAVING
Amazon Auroraを自動停止・起動する
##はじめに
Amazon Auroraの自動起動の設定方法。[こちら] (https://qiita.com/bambis13s/items/a4480a5e0007b01dd95a)の記事を見ながら行ったのですが、ポリシーの部分でつっかえたり起動しなかったりしましたのでRDSインスタンスとは自動設定が違うのかなと思いメモとして残します。
今回はEventBridgeとSSMAutomationを利用します。よろしくお願いします(｡･ω･)ﾉﾞ##ポリシーの作成
実行用のポリシーとロールが必要なので作成してきます。
IAMの画面からポリシーの作成をクリック
**◆Auroraに対するアクセス許可**
・サービスでRDSを入力しアクションで「StartDBCluster」「StopDB
AWS 認定ソリューションアーキテクト アソシエイト 合格するまで
2021年8月16日に「AWS 認定ソリューションアーキテクト アソシエイト(SAA-C02)」試験を受け合格しました。
受けるまでの過程や購入した教材、学習時間などをできるだけ細かく記載していきます。
受験を考えている方の参考になれば幸いです。# 受験しようと思うまで
プログラミングスクール(2021年7月まで在学)でAWSを使って、Ruby on Railsを使ったポートフォリオをデプロイしました。* この時に行ったこと
* VPC関連(サブネット、ルートテーブル、インターネットゲートウェイ、セキュリティグループ)
* ALB
* AMI
* EC2(t2.micro)
* RDS(MySQL)
* S3
* Lambda
* Cloud9
* IAM(IAMロールの作成、IAMユーザーの作成)習ったのはポートフォリオをデプロイするため最小で最安になるような構成と超基礎的な機能です。
在学中に習ったことの物足りなさやクラウドインフラが楽しかったというのもあり、在学終盤ごろにAWSの資格に興味が沸きま
AWS CDKでReactをCloudFront+S3にデプロイする
## 本記事でやること
– AWS 上に [CloudFront + S3 の構成](https://docs.aws.amazon.com/AmazonCloudFront/latest/DeveloperGuide/getting-started-secure-static-website-cloudformation-template.html) で静的ウェブサイトをホスティングします
– [create-react-app](https://create-react-app.dev/) で作成した React のアプリケーションを題材にします
– [AWS CDK](https://docs.aws.amazon.com/cdk/index.html) を使用して、CloudFront や S3 をプロビジョニングし、アプリケーションのデプロイまで行います
AWS CDK を使用すると、アプリの S3 へのアップロードから CloudFront の Invalidation まで、デプロイ作業がすべて自動化できます！すごい！
