- 1. AWS CloudFormation StackSetsと組織
- 2. DatadogでiPaaS(HULFT Square)の処理ログを可視化したぜ
- 3. Amazon ElastiCacheについて
- 4. AWS SAA 受験対策メモ①
- 5. AWSを触る人はAWS-SAAを取りなさい!
- 6. for_eachでterraformリソースの作成を条件分岐する
- 7. Lex Bot の slots の値をLambdaで取得してみる
- 8. [AWS]CICDパイプラインでDocker脆弱性スキャン
- 9. 【AWS CLF】AWSで覚えずらいサービス・用語をまとめた
- 10. GlueのPIIデータ処理をスクリプトで実施してみる
- 11. [初の個人開発!]アイデア出しを支えるアプリ『APark』。3ヶ月間の開発過程
- 12. IaLを活用したAWS FargateでのStreamlitアプリケーションデプロイ – Terraformによる自動化の実践
- 13. AWS Budgetsについて
- 14. AWS CodeDeployでのデプロイ失敗: セキュリティトークンの期限切れ問題と解決策
- 15. New RelicによるAWSの監視をTerraformで自動化する(第1回: メトリクスのモニタリング)
- 16. AWS CLF02を取得した時の話。【未経験】2024年7月上旬
- 17. 【DOP-02】AWS DevOps Engineer professional 試験問題集の勉強法・試験対策
- 18. AWS DataSyncについて
- 19. aws クラウドプラクティショナー サポート関連を少しずつ理解しながら表にしていく
- 20. prismaのmigrateをプライベートサブネットのRDSに対して実行する
AWS CloudFormation StackSetsと組織
# 内容
AWS OrganizationsとAWS CloudFormation StackSetsを活用することで、OU内の複数アカウントに一貫したリソースデプロイが可能です。本記事では、アカウントがOUから離脱または参加した際に、デプロイされたリソースの挙動を確認していきます。## シナリオ
1. SwitchRole用のテンプレートを作成
1. 1.で作成したCloudFormationをOUにStackSetsでデプロイ
1. この状態で、OU内のアカウントをOU外に移動や、再度OU内へ移動したときの様子を確認## 挙動を確認
### CloudFormationのStackSetsでOUにデプロイ
CloudFormation StackSetsデプロイの様子
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3812002/102003fe-d870-f929-1383-1f7b81ba10db.png)### OU内のアカウントにSwich Role入れるか確認
DatadogでiPaaS(HULFT Square)の処理ログを可視化したぜ
## はじめに!
本記事では “ゆる~く” ご紹介をします。今日出てくるサービスについては以下公式HPへ
– [Datadog](https://www.datadoghq.com/ja/)
– [HULFT Square](https://www.hulft.com/service/hulft-square)そもそもiPaaSってという方いらっしゃるのではないでしょうか??
そんな方は是非[こちら](https://www.hulft.com/column/glossary-05)へ。**細かい話はいいから、結論どんな感じ?**
**という方はこちらまで[スキップ!!]()**## さて今日のお題
私自身はDatadog初学者でして、
お客様から「うちはログ監視をDatadogで統一している」という話をお聞きしました。**「なんかDatadogってどんなログも可視化できそう
Amazon ElastiCacheについて
## はじめに
こんにちは。開発部のMです。
今回は「Amazon ElastiCache」についてご紹介します。## Amazon ElastiCacheとは
AWSが提供するインメモリ型データベースサービスです。インメモリ型データベースとはデータストレージにメモリを使用するデータベースのことです。SSDのようなディスクストレージよりも高速・安定したアクセスが可能で高頻度で参照するデータや検索に時間がかかるデータセットをメモリ上に保持することでシステムのパフォーマンスを向上させることができます。## ElastiCacheのデータベースエンジン
ElastiCacheは「Memcached」と「Radis」の二種類のエンジンをサポートしています。
### Memcached
事実上、KVS(Key-Valueストア)型インメモリデータベースの標準として広く利用されています。高パフォーマンスですがデータの永続性やレプリケーション機能はないので、障害や再起動が発生した場合はデータは残りません。保持しておかなければならないデータはストレージや他のデータベースサービスへ保存しておき、
AWS SAA 受験対策メモ①
# はじめに
7月にAWS CLF-02を受験し合格。
知識を蓄えるインプットのみの学習も大切ですが、アウトプットすることでより知識として定着すると思いますのでこちらではメモ書きを書き残し、今後の別の記事では知見を深めるためのハンズオンなども実践して残していきたいです…!私は直接殴り書きをして頭に叩き込むタイプでして、ノートに書いた1部をこちらに転載しております。
こんな感じで50ページほど書いていました。
![note.jpeg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3887873/79643af9-8123-ce89-1f1d-71a91f6def15.jpeg)# メモ書き (随時更新予定)
・CloudWatchLogsでは決まったフォーマットのメトリクスフィルターを作成できる。
CloudWatchアラームではメトリクスが発火した条件を決め、発火した際にはSNSと連携して特定のミドルウェア(メールやSlackなど)に通知することが可能。
→メトリクスフィルターとは。
ログ
AWSを触る人はAWS-SAAを取りなさい!
# 初めに
近日中に地元でJAWS-UGが行われるため、名刺代わりにこの記事を書くことにしました。# 目次
[1.自己紹介](#1-自己紹介)
[2.SAAの勉強をやるべき3つの理由](#2-SAAの勉強をやるべき3つの理由)
[3.AWSサービスを知ることができる](#3-AWSサービスを知ることができる)
[4.AWSサービスを使用してベストプラクティスを知ることができる](#4-AWSサービスを使用してベストプラクティスを知ることができる)
[5.例1:負荷分散のためのオートスケーリング](#5-例1:負荷分散のためのオートスケーリング)
[6.例2:データ分析基盤構築](#6-例2:データ分析基盤構築)
[7.自慢できる](#7-自慢できる)
[8.みんなもAWS-SSAを受けてみよう!](#8-みんなもAWS-SSAを受けてみよう!)# 1. 自己紹介
初めまして!やさしい緑です!IT業界へ入り4年目になります!
・1年目~3年目ごろ:SESや受託開発案件などベンダー側で開発者として活動
JavaScript(TypeScript)、Python(Pandas)で
for_eachでterraformリソースの作成を条件分岐する
## やりたいこと
varファイルにリソースを作成するか否かをtrue or falseで記載し、trueの場合のみリソースを作成する。## 背景
AWSの検証用にterraformでリソース作成をしているのですが、検証パターンによっては、作成したくないリソースがいくつかあったので、varファイルの内容を書き換えるだけでリソース作成を操作したかった。
今回は、プライベートに配置したEC2にSSM接続する際に必要なvpc endpointを例に記載していきます。## コード
network.tf
“`
resource “aws_vpc_endpoint” “this” {
for_each = var.creat_vpc_endpoint ? local.vpc_endpoint : {}
vpc_id = aws_vpc.this.id
service_name = each.value.service_name
vpc_endpoint_type = each.value.vpc_endpo
Lex Bot の slots の値をLambdaで取得してみる
# はじめに
本記事では、Lexのslotに設定された値を `Code hooks` で呼ばれたLambdaで受け取る処理を実装していきます。# 環境
– Python:3.12
– Lex:v2# ゴール
Code hooksで呼ばれたLambdaでLexのslotに設定された値を受け取る# Lex
本記事では下記のようにslotが1つあるLex Botを想定してます。
何でもよいですが今回は日付入力を想定して、Slot typeを`AMAZON.Date`にしておきます。– SLots
– Name:get_date
– SLot type:AMAZON.Date
– Prompts:hoge![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1247619/6334777b-8087-6fdf-18f3-0a2447610431.png)
– Sample utterances
– {get_date}![image.
[AWS]CICDパイプラインでDocker脆弱性スキャン
## 導入
### 背景・目的
– Amazon Inspectorは継続的に AWS ワークロードをスキャンする自動脆弱性管理サービスです。
– サービスの1機能を用いることで、Dockerイメージに対する脆弱性検査が可能です。
– CodeシリーズとInspectorとを組み合わせて、脆弱性検査をPassした安全なDockerイメージのみをデプロイする、CICDパイプラインを構築してみます。### 読者に想定する知識レベル
– CodeシリーズやCDKの概要を理解している前提で記載します。
## CICDパイプライン構築
### アーキテクチャ紹介
– CodeBuild内でDockerイメージに対する脆弱性検査を実施します。
– 重大な脆弱性を検知しなかった場合のみ、DockerイメージをECRへPushします。![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3562653/7c97200b-cbea-0994-51df-2abdf709ee6a.png)
[^1
【AWS CLF】AWSで覚えずらいサービス・用語をまとめた
# AWSで覚えずらい・紛らわしいサービスまとめ
## はじめに
AWS CLF(AWS Certified Cloud Practitioner)取得に向けて学習を行っています。
その中で、名前からでは覚えずらい・紛らわしいサービスが多々あるなと感じたため、それらのサービスを効率的に覚えられるようまとめました。
同様な悩みを持つ方の助けになれば幸いです。## 読者対象
– AWS CLF取得を目指している方
– AWSのサービス名を一通り学習したものの、紛らわしいサービスを覚えきれていない方## 1. AI系サービス
【自然言語系AI】
– **Amazon Comprehend**
テキストデータを解析し、場所、人物、キーワード、感情などを抽出する。– **Amazon Lex**
音声やテキスト型の**チャットボット**を作成する対話型インターフェースの構築サービス。– **Amazon Kendra**
自然言語の非構造化データを機械学習により検索するサービス。– AWS Chatbot
SlackやChimeなどのチャット
GlueのPIIデータ処理をスクリプトで実施してみる
# はじめに
皆さん、GlueのPIIデータ処理は使っているでしょうか。そもそもPIIとは、Personally Identifiable Information(PII)の略であり、日本語では個人識別情報と訳されます。分かりやすいところでは、氏名やメールアドレス、マイナンバーなどがこれに該当します。
このような情報は持っていると漏洩リスクや法に触れる可能性があるため、削除やマスキングしたいという要件が良く出てきます。カラムを落とすだけなら処理は楽ですが、一部だけマスキングしたい、そもそもどのカラムにPIIデータが入っているか分からない、という場合は処理が複雑になりがちです。
そんなとき、GlueのPII処理を使うと、楽に実装ができます。
https://docs.aws.amazon.com/ja_jp/glue/latest/dg/detect-PII.html
上記はGlueのVisual Editorでの処理ですが、スクリプトでもこの機能は利用できます。
具体的には、Glueが提供している `detect()` および `classifyColumns()` のAP
[初の個人開発!]アイデア出しを支えるアプリ『APark』。3ヶ月間の開発過程
# 1.はじめに
突然ですが!
私には「人々の可能性を広げる仕事をしたい」という目標があります。
人生において **可能性を広げる** ためには、必ず **何らかの影響** が関与していることが多いです。
その **何らかの影響** を **人の影響** として感じられる瞬間は、とても大きな生きがいとなります。必要とされ、自分の長所に気づき、そこからまた新たな可能性が生まれる姿は、人生を楽しむ上で最も本能的に重視してしまう、重視すべき瞬間だと思っています。
人と人がつながることで、互いの可能性が広がる。
趣味から繋がるも、恋愛から繋がるも、仕事から繋がるも、ふとから繋がるも、さまざまな形での良い「つながり」が人生を豊かにします。
私は、このような「つながり」をより多くの人々に提供できる職業に魅力を感じ、エンジニアを目指すことに決めました。今回作成したプロダクトは、まさに人々がつながることで可能性が広がるアプリです。
エンジニアを目指す過程で、目標に向けた第一歩を踏み出せたと感じています。
まだまだ改善の余地は多くありますが、温かい目でお読みいただければ幸いです!
IaLを活用したAWS FargateでのStreamlitアプリケーションデプロイ – Terraformによる自動化の実践
## はじめに
近年、インフラストラクチャ管理の分野で注目を集めているのが「IaL(Infrastructure as Language)」という概念です。IaLは、自然言語での要件定義とAIによるコード生成を組み合わせることで、インフラ構築のプロセスを大幅に簡素化し、効率化することを目指しています。
本記事では、IaLの概念を活用し、AWS FargateでStreamlitアプリケーションをデプロイする過程を詳しく解説します。Terraformを使用したインフラストラクチャのコード化(IaC)と、Dockerを用いたアプリケーションのコンテナ化を通じて、最新のクラウドデプロイメント技術を学びましょう。
## IaL(Infrastructure as Language)とは
IaLは、インフラストラクチャ管理に自然言語処理とAIを導入することで、従来のIaC(Infrastructure as Code)をさらに進化させた概念です。IaLを活用することで、エンジニアは複雑なインフラ構成を自然言語で記述し、AIがそれを解釈してTerraformなどのIaCコードに変換します。
AWS Budgetsについて
## AWS Budgetsとは
AWS Budgetsはコストや使用量に対して予算を設定することができます。設定した金額や使用状況のしきい値に近づいたり超えた場合にアラートを受け取ったりアクションを実行するサービスです。## サービスの詳細
予算は日、月、四半期、年などの周期で設定できます。特定のサービス、リンクされたアカウント、タグなどで予算を設定できます。アラートは、メールやSNSのほかに、Slack等のチャットアプリでも受け取ることができます。また、閾値を超えた時のアクションとして特定のインスタンス停止設定やIAMポリシーやSCPの付与によるリソースの制御も可能です。
AWS CodeDeployでのデプロイ失敗: セキュリティトークンの期限切れ問題と解決策
## AWS CodeDeploy のエラーと解決策:セキュリティトークンの期限切れ問題
AWS CodeDeploy を試していた際、最初のステップですら実行されず、AWS コンソールには「デプロイできなかった」と表示されていました。問題の詳細を確認するために、EC2 インスタンスにログインして `codedeploy-agent` のログを確認しました。
### エラーログ
以下のエラーメッセージが `codedeploy-agent` のログに繰り返し出力されていました。“`
$ tail -f /var/log/aws/codedeploy-agent/codedeploy-agent.log
2024-10-05T10:59:04 ERROR [codedeploy-agent(19926)]: InstanceAgent::Plugins::CodeDeployPlugin::CommandPoller: Error polling for host commands: Aws::CodeDeployCommand::Errors::UnrecognizedCli
New RelicによるAWSの監視をTerraformで自動化する(第1回: メトリクスのモニタリング)
# はじめに
AWSの監視は、Amazon CloudWatchシリーズで機能が一通り揃っているのでそちらを使うのがセオリーではあるものの、New RelicやDatadogといったオブザーバビリティによる監視に特化したSaaSを使うことも多くなってきている(AWSの標準機能でもオブザーバビリティに対応しているものはある)。本記事では、New Relicの監視をTerraformを使ってAWSと一貫して構築を自動化する方法を構築している。
それぞれのリソース等のより詳細な情報は、以下の公式ドキュメント類を確認するのが良いが、本記事が、New Relic+AWSを構築する初めの一歩の一助になればと思う。
https://docs.newrelic.com/jp/docs/infrastructure-as-code/terraform/terraform-intro/
https://registry.terraform.io/providers/newrelic/newrelic/latest/docs
なお、本記事で設定できる内容は、New Relicの無料利用でできる範
AWS CLF02を取得した時の話。【未経験】2024年7月上旬
# はじめに
AWSのクラウドサービスを使って業務で使用したいと思ってはいたものの手探りすぎてまともな知識もないまま使用するのはどうかと思い、学習する1つの目的としてCLFを受験することにしました。AWSについて事前に知識はほぼなく、業務でWindows Server, SQL Server, 自社ソフトウェアの環境移設作業を便利にできるものがないかと探していたところクラウドで実装できそうだとなったことがキッカケになります。
# 学習
テキストを買ってまずは1週読み、2週目で1週目の演習問題で間違えたサービスなどじっくりと読みました。極力お金をかけず合格したかったのでWEBやスマホの無料の問題ばかりを解いていました。ふむふむ、そういう機能が…などと順調に学習していたつもりでしたが、なぜか前日に急に不安になりUDEMYで有料の講義を1つ購入して模擬試験を解くことにしました。
#### そこでトラブル発生
問題を解いているとなんか知らないサービスめっちゃ多いし、正答率40%…やはり試験はまだ自分には難しいのか。。と思いながら慌てて試験について調べなおしたところはじめに購
【DOP-02】AWS DevOps Engineer professional 試験問題集の勉強法・試験対策
# 勉強法について
受験体験記や受験の仕方などは他の方々も語られているため、
今回は「資格取得のために具体的にこれだけすればOK」ということを解説します。最短での試験合格を目標とすると、やることは以下の5点だけです。
**1. 模擬試験を用意する**
【シンプル要点解説】AWS DevOps Engineer professional 試験問題集 (6回分480問)
https://www.udemy.com/course/aws-devops-engineer-professional-6480/?couponCode=DOP_10:::note info
このリンクからアクセスして購入すると、割引価格で購入できます。クーポンコードは「DOP_10」です。
※別リンクからだと、この割引価格は適用されないのでご注意下さい。
:::DOP教材は多々ありますが、本教材をお勧めする理由は以下です。
– 安い。クーポン価格だと1500円前後で購入できます。
– どのUdemy講座よりも多い480問の問題が収録されている。(2024年10月6日現在)
– 最新のAWS DevOp
AWS DataSyncについて
## AWS DataSyncとは
AWS DataSyncはオンプレミスからAWS、またはAWSストレージ間のデータ転送を行うサービスです。対応しているストレージサービスはS3やAmazon EFS、Amazon FSxなどがあります。移行元としてオンプレミス側のファイルサーバー(NFS、SMB)もサポートしています。## 主な特性
### フルマネージド型サービス
ユーザーがサーバーを管理する必要がありません。
### 高速なデータ転送
データ転送には、AWS設計の転送プロトコルを利用します。ネットワークの状況を検証しながら調整し最適な転送方法を提供します。
### データ検証
転送が完了した後に、ソースとターゲットのデータが一致することを検証します。DataSyncではデータの一貫性と安全性が保証されています。
### 料金
移行するデータ分だけの支払いなのでコスト効率が良いです。
aws クラウドプラクティショナー サポート関連を少しずつ理解しながら表にしていく
# はじめに
この記事はaws クラウドプラクティショナーを受験するにあたり、サポート関連のことを整理するために書いた記事です。
2024/09時点での情報です。対象読者
– AWS クラウドプラクティショナーの資格勉強をはじめたばかりの人
– サポート関連をざっくり把握したい人実際にサポートを使っているだけなので間違いもあるはずです。
気になった部分は自身で調べてもらえるようなきっかけになれたらと思います。# 問題を解きながらAWSのサポート表にしていく
## Q-1 サポートの種類について
“`
次の選択肢の中で、AWSが提供しているサポートプランとして実際に存在するものをすべて選んでください。1. スタンダード
2. ベーシック
3. デベロッパー
4. ビジネス
5. Enterprise On-Ramp
6. エンタープライズ
7. プレミアム
“`## A-1 答え
2, 3, 4, 5, 6https://aws.amazon.com/jp/premiumsupport/plans/
#### Enterprise On-Ramp
情報を見
prismaのmigrateをプライベートサブネットのRDSに対して実行する
ローカルで実行してた以下みたいなコマンドってRDSでDB構築した場合どうすれば良いのか
“`bash
npx prisma migrate dev
“`# 手順
– 踏み台用EC2を起動
– ローカルPCから踏み台経由でRDSにsshトンネル
– migrate実行RDSは作成されている前提で進めます。今回はPostgreSQLで進めます。
# EC2の作成
RDSがプライベートサブネットにある限り外から接続するには踏み台かVPNを使用した接続を確立するしかないので今回は簡単に踏み台サーバー立てます![スクリーンショット 2024-10-06 11.46.54.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/920917/57d1b305-e9b3-a27d-736a-cb0b6c2876d6.png)
開発者がRDSに接続するためだけのサーバーなので基本デフォルトで余計な設定はしなくてOKです。
![スクリーンショット 2024-10-06 11.51.18.png](https: