- 1. AWS EC2内のDockerコンテナからローカルにファイルを持ってくる方法
- 2. CloudWatchアラームをSlackへ通知する
- 3. S3からBigQueryに直接データを転送する
- 4. スクショで安心プチハンズオン 〜駆け足でServerless Framework × Lambdaプチハンズオンを雑にまとめてみた〜
- 5. AWS CDK：CfnTagのちょっとした共有
- 6. AWS初心者がSAP-C02に合格した勉強法
- 7. 日本語化したWindows InstanceをデプロイするCloudFormationテンプレートを作ってみた
- 8. CloudFormationでFSx For NetApp ONTAPのテスト環境を構築してみた
- 9. CloudFormationでFSx for NetApp ONTAPを作成してみた
- 10. EC2 InstanceをAmazon Managed ADに自動JoinすることをCloudFormationでやってみた
- 11. Amazon Kendraの日本語対応状況とサービス利便性を確認してみました【2022年12月時点】
- 12. seleniumをコンテナ化して動かしてみた
- 13. New RelicからChatworkに通知する方法
- 14. AWS認定クラウドプラクティショナー合格に向けて Day14
- 15. QuickSightを使ってみました
- 16. SageMaker Pipelinesで始めるMLOps
- 17. 【図解あり】絵が描けないエンジニアは3Dモデルを作ってみた
- 18. DynamoDBエクストリームで動くLambdaの起きがちなエラーの対処
- 19. Notionで書いた日記を感情分析してみる
- 20. [AWS CDK]CDKからCloudWatch Dashboardを作成する方法
AWS EC2内のDockerコンテナからローカルにファイルを持ってくる方法
## 今回はAWS上で展開しているDockerコンテナの中からファイルをローカルに持ってくる方法を説明します。
### 今回やりたいこと
– seleniumをheadlessモードで起動しているが、予期せぬエラーに見舞われてしまい現在どのページにいるのか判別できなくなってしまったので、スクリーンショットを撮り開いているページを確認したい。## 大まかな手順
① Dockerコンテナ→EC2のディレクトリ
② EC2のディレクトリ→ローカルのディレクトリ## 手順の説明
– まずEC2内のDockerコンテナからEC2にスクリーンショットを持ってきます。
– スクリーンショットを保存する場所はコンテナ内のvolumesでマウントされているファイルを指定しておきましょう。(docker-compose downしてもスクショが消えないようにするためです。)
– 次に以下のコマンドでコンテナID を調べます。
“`
docker container ls -a
“`
– ここで目的のコンテナIDを取得し以下のコマンドでEC2内にコ
CloudWatchアラームをSlackへ通知する
EC2運用時に突然空き容量がなくなってサービス停止するといった事態を防ぐためにEC2の空き容量を監視して閾値を下回った場合にSlackへ通知するという機構を実装してみました。
参考にした公式資料はこちらです。
チュートリアル：Slackを使ってみる※英字ドキュメントのみですがChromeで日本語訳したら普通に読めます。
https://docs.aws.amazon.com/ja_jp/chatbot/latest/adminguide/slack-setup.html
Amazon SNS 通知の設定
https://docs.aws.amazon.com/ja_jp/AmazonCloudWatch/latest/monitoring/US_SetupSNS.html
# 今回の構成図はこちら
CloudWatchAlarmで閾値超過を検知してSNSで拾い、Chatbot経由でSlackに通知するという流れです。この構成の良いところはサクッと作れるところです。悪いところは通知が全部英語でUTCになるところです。とはいえ、JSTはSlackへの通知時刻で確認できるしアラートに気付い
S3からBigQueryに直接データを転送する
# はじめに
S3からCloudStorageへのデータのコピーの記事を書きましたが、そもそもS3からBigQueryに直接転送できるようでしたので早速試してみました。
https://qiita.com/uzresk/items/493c4ec369c94162d4c8
ちなみにS3 → CloudStorageはIAM Roleを使って転送できましたがこちらはアクセスキー・シークレットアクセスキーしか利用できないようです。
# S3にアクセスするポリシーの作成とアクセスキーの発行
S3にアクセスできるポリシーを作成します
“`
{
“Version”: “2012-10-17”,
“Statement”: [
{
“Effect”: “Allow”,
“Action”: [
“s3:Get*”,
“s3:List*”,
“s3:Delete*”
],
スクショで安心プチハンズオン 〜駆け足でServerless Framework × Lambdaプチハンズオンを雑にまとめてみた〜
## はじめに
ここ最近、AWS周りをコツコツ勉強しております。奥田と申します。これからAWSを学び始める人やAWSに苦手意識を持っている初学者の人向けに、
ファーストステップとしてのハンズオンとして、手軽に取り組めて且つ便利そうなものはないかなと思い、
今回は『Serverless Framework × Lambdaプチハンズオン』をゆる〜く書いてみることにしました。取り組みハードルを超下げたかったので、大体5分~30分くらいでできるような感じにまとめました。
※エラー想定など万全の解説文ではないので、必要があればググっていただけると幸いです。?
※暇な時に、随時アップデートしようと考えています。## このハンズオンでできるようになること
Lambda関数は、マネジメントコンソールでぽちぽち手作業で作成/管理等もできますが、関数が増えてくると手入れが大変ですよね。## やったこと
* CfnBucketを使ったS3のバケット作成
* CfnTagを使ったバケットに紐付けるTagの作成## コード
s3を作成するコードと、実行するコードは分けたほうがわかりやすいと教えてもらったので、今回は２つのファイルを作成しています。
ここを分けてると、他のリソース（EC2とか）を作るときも書きやす
AWS初心者がSAP-C02に合格した勉強法
タイトルの通り、更新されたAWS認定試験 SAP-C02に合格したので、実際のテスト内容に触れない範囲で記事を書こうと思います。目新しい勉強法ではないですが、最近更新された試験なので参考程度にどうぞ。
**結果的にですが、実際はC02に合わせずC01ベースでも受かることは可能ではないかなと感じました。自分が当たった問題群がそうだっただけかもしれないので分かりませんが。**
# 前提、結果
縁があってAWSにお世話になったので、再受験キャンペーンもやってるし、いっちょ深く勉強してみるかぁといきなりSAPに挑戦してみました。CLFすら持っていません。
AWSに関しては本物の初心者で、少し前までEC2は全部低スペックなサーバだと思っていました(笑) (無料枠EC2を見て、高スペックなサーバサービスは他にあるのかと思っていました)
他の前提としては、CCNA程度のネットワーク知識です。勉強期間は1か月半です。大学に通いながらなので、今回のAWS勉強時間は合計150時間もないです。参考書や問題の解説のメモなどは計8万字くらいになりました。
点数は809点と高いとは言えませんが、回答時間は10
日本語化したWindows InstanceをデプロイするCloudFormationテンプレートを作ってみた
# Windows EC2を簡単に日本語化する方法を探したい
最近、同僚から「Windows EC2を簡単に日本語化する方法って知ってます？」という質問が来ました。ワークショップやる上で日本語の方が参加者も分かりやすいという観点で、「Windows EC2を簡単に日本語化する方法を探す」が課題になったようでした。
自分はこの課題をCloudFormationで解決方法を探そうと思います。# Keyword
* CloudFormation
* インフラストラクチャをコードとして扱うことで、AWS およびサードパーティーのリソースをモデル化、プロビジョニング、管理することができます。
* YAML
* 構造化データやオブジェクトを文字列にシリアライズ（直列化）するためのデータ形式の一種。テキストのため可読であることは特徴です。# いきなりまとめ
* CloudFormationで日本語化したWindows Instanceをデプロイできるテンプレートを作りました！
* 方法：CloudFormationテンプレートにWindows Instanceをデプロイすると
CloudFormationでFSx For NetApp ONTAPのテスト環境を構築してみた
# CloudFormationでFSx for NetApp ONTAPのテスト・デモ環境を構築することを自動化したい
仕事柄で、よくFSx For NetApp ONTAPについての技術検証またはお客様向けのワークショップをします。この間に、以下の不便なことを感じました：
* 環境の構築について
* FSx For NetApp ONTAPファイルシステムの作成は時間がかかります。またADが必要な場合、作成順番があるため、ずっと画面をモニターリングする必要があります。
* 手作業なら、ミスが発生する可能性があります。
* AWSに不慣れなお客様がいらっしゃるので、構築の時間は予測し難くて、ワークショップの時間設定は難しいです。
* 環境の削除について
* 作成と同じ、削除も順番があり、画面をモニターリングする必要があります。
* 依存関係が間違って場合、削除失敗のエラーが発生します。これを解決するため、CloudFormationでFSx for NetApp ONTAPのテスト・デモ環境を構築することを自動化したいです。これがあれば、
CloudFormationでFSx for NetApp ONTAPを作成してみた
# CloudFormationでFSx for NetApp ONTAPを簡単にデプロイしたい
* FSx for NetApp ONTAPデビューした時、CloudFormationで簡単にYAMLでリソースを定義して作成することがでなかったです。あの時はLambdaなど他のツールを使う必要がありますが、今回AWS CloudFormationのドキュメンテーションを見て、FSx for NetApp ONTAPの部分も追加されました！
* なので、今回はAWS CloudFormationが使える、FSx for NetApp ONTAPのテンプレートを作成してみたいと思います。# Keyword
* CloudFormation
* インフラストラクチャをコードとして扱うことで、AWS およびサードパーティーのリソースをモデル化、プロビジョニング、管理することができます。
* FSx for NetApp ONTAP
* Linux、Windows、および macOS コンピューティングインスタンスから業界標準の NFS、SMB、および iSCSI プロトコ
EC2 InstanceをAmazon Managed ADに自動JoinすることをCloudFormationでやってみた
# CloudFormationでEC2 Instanceを作成してADにJoinすることを自動化したい
* Cloud Nativeの領域に仕事をしているエンジンニアとして、どうやって自分の作業をできるだけ自動化することをよく考えてます。最近AWS上にMS AD関連の技術検証が多いので、CloudFormationでEC2インスタンスとADが作成と連携することを自動化してみたいです！
* フローチャットは以下のようになります:
# Keyword
* CloudFormation
* インフラストラクチャをコードとして扱うことで、AWS およびサードパーティーのリソースをモデル化、プロビジョニング、管理することができます。
* Amazon Managed AD
* AWSが管理するマネージドなActive Direc
Amazon Kendraの日本語対応状況とサービス利便性を確認してみました【2022年12月時点】
師走の恒例となっているQiitaの『[株式会社日立システムズ Advent Calendar 2022](https://qiita.com/advent-calendar/2022/hisys)』。
今年も記事を書いてみようと思います。
なお、記載内容は個人的なものであり、
所属する企業や組織、団体を代表する見解その他ではありませんので、
ご承知おきください。さて、何を記載しようかと考えたのですが、
せっかくなので、日頃は使っていないサービスを検証してみたいと思いました。
その結果、「[Amazon Kendra](https://aws.amazon.co
seleniumをコンテナ化して動かしてみた
:::note info
この記事は、[カサレアル Advent Calender 2022](https://qiita.com/advent-calendar/2022/casareal)の15日目のエントリです。
:::# seleniumをコンテナ化して動かしたいですよね？
* はい?
* はいさて、[前回の記事](https://qiita.com/casareal_user/items/0f8ef4e7cd954a7f6846)の反響を確認したところ
「コマンドの数多すぎじゃね？?」
とか
「仮想環境構築する際Cloud9の環境に左右されるじゃねえか??」
とか
たくさんのご批判の声を頂きました。。。???
(大嘘)まあ、コマンドコピペするのめんどくさいですよね、わかります。。。
というわけで、seleniumをコンテナ化をすることにしました。
コマンド類をDokcerfileに全部書けるし、Cloud9の環境に左右されることもありません?
なるべくシンプルに、コピペでおｋというスタンスでを書きました。
とりあえず動かして気持ちよくなりたいっ
New RelicからChatworkに通知する方法
## はじめに
[New Relic Advent Calender 2022](https://qiita.com/advent-calendar/2022/newrelic) 12/15分の記事です。
New RelicからChatworkにアラートなど通知を送りたいとき、ありますよね？
そんなときはNew RelicのUIから送信先にChatworkを選んで…
って出来ればよいのですが現状はできないので、別のインテグレーションを活用していきます。
もともとのインテグレーションにない通知先に送る参考にしていただければと思います。## 事前準備
Chatworkに外からメッセージを送る場合は以下を事前にご用意ください。
– [Chatwork – 中小企業向けビジネスチャット 国内利用者数No.1](https://go.chatwork.com/ja/)
– [通知先のグループチャット](https://help.chatwork.com/hc/ja/articles/203354280-%E3%82%B0%E3%83%AB%E3%83%BC%E3%83%97%E
AWS認定クラウドプラクティショナー合格に向けて Day14
# 前回の内容
[AWS認定クラウドプラクティショナー合格に向けて Day13](https://qiita.com/Ayako_0224/private/e44d4b8b01d44d236f23)# VPCとのオンプレ接続
２種類ある
– VPN接続
– Direct Connect(専用線接続)VPNのほうが安く早いが、Direct Connectのほうが信頼性や品質が良いとされている
## Direct Connect
お客様のデータセンターやオフィスを専用線などを介してAWSへプライベートに接続するサービス
– 安価なアウトバウンドトラフィック料金
– ネットワーク信頼性の向上
– ネットワーク帯域幅の向上などがメリットとしてあげられる
### Direct Connect Gateway
これにより、同一アカウントに所属する複数リージョンの複数AZから複数リージョンの複数VPCに接続することが可能になる## VPCエンドポイント
VPCエンドポイントはグローバルIPを持つAWSサービスに対してVPC内から直接アクセスするための出口
２種類の接続形式がある
QuickSightを使ってみました
# Introduction
本記事は、[ハンズラボ Advent Calendar 2022](https://qiita.com/advent-calendar/2022/handslab) 15日目の記事です。## きっかけ
AWSのQuickSightでどのようにデータが可視化されるのかに興味を抱きました。しかしハンズオンやどこかのデータを元に可視化するのは、興味を覚えませんでした。
そこで、社内Slackにおいて、どんなスタンプが使われているのかを可視化してみようと感じました。## 結論
早速ですが、可視化してみるとこのようになりました。
縦軸はスタンプの使用数、横軸は時間軸です。
なお、プライバシーの問題があるため、どんなスタンプがあるのかを見せられません。
申し訳ないですが、可視化されたグラフのみを紹介
SageMaker Pipelinesで始めるMLOps
# はじめに
本記事は、AI/ML on AWS Advent Calendar 2022の15日目の記事です。私は現在都内のベンチャー企業にてデータエンジニア(データサイエンティスト)としてインターンをしています。
業務内容としては、データの前処理からエンドポイントの作成まで幅広く行っております。
普段業務する中で、MLOpsの重要性をひしひしと感じたので、記事にしたいと思いました。
そこで今回は、MLOpsを実現するAWSのSageMaker PipelinseというCI/CDサービスについて説明していきたいと思います！データエンジニア・データサイエンティストを目指している学生の方やMLOpsに興味のある方にとって有用な記事となれば幸いです。
# 目次
[1.MLOpsの重要性](#1-MLOpsの重要性)
[2.SageMakerPipelines](#2-SageMakerPipelines)
[3.手順の説明](#3-手順の説明)
[4.最後に](#4-最後に)# 1. MLOpsの重要性
以下は、私が機械学習プロジェクトを進めていく上で感じた課題になります。
【図解あり】絵が描けないエンジニアは3Dモデルを作ってみた
こちらは [AWS for Games Advent Calendar 2022](https://qiita.com/advent-calendar/2022/aws-for-games “”) の 15 日目の記事です。
皆さん、絵を描くのが好きですか？
昨年からハイクオリティーな絵を生成してくれる AI は雨後の筍のように増えてきました。単語でも文章でも、描いてほしい絵のキーワードを自由に入力すれば、それに沿った絵を AI が描いてくれます。初心者でも簡単に美術的な絵が描けて、今後もブームは継続していくではないかと思います。絵を描きたいけど描けない人たちにはとても朗報です。
## AI に「絵が描けないけど」って愚痴を言うと・・・
いきなりですが、最近流行っている [ChatGPT](https://chat.openai.com/chat “”) に「絵が描けないけど」っていう愚痴を言ってみたらガチで慰めてくれました（涙）
:
File “/var/task/lambda_function.py”, line 7, in lambda_handler
old = event[‘Records’][0][‘dynamodb’][‘OldImage’]
“`
変更前のデータが取得できないエラーです。# 設定内容
Lambda関数のコードは下記のとおりです。
“`python:lambda_function.py
import jsondef lambda_handler(event, context):
print(event)new = event[‘Records’][0][‘dynamodb’][‘NewImage’]
old = event
Notionで書いた日記を感情分析してみる
# 初めに
開発部サーバーサイドエンジニアチームのnagaiと申します。
こちらは、トラストバンク Advent Calendar 2022 の15日目の記事です。
私は入社してまだ２か月ですが、担当しているシステムが大きく、全体を把握できずに右往左往しております。
今回、15日目の記事を任されたので、頑張って書いていきます！よろしくお願いします。# Notionというすごいアプリケーション
皆様はNotionというアプリケーションをご存じでしょうか？
私はトラストバンクに入社して、初めてNotionというアプリケーションを知りました。
簡単に言うとすごいドキュメント管理アプリです。※ドキュメント管理以外も色々できます！入社後初めてNotionを使った感想は、今までWindows explorerを嗜んできた私からすると、
どこにドキュメントがあるかわからない、フォルダ階層表示できないかな・・・とネガティブな感じだったのですが、現在は立派なNotionerとなっております。Notionのすごいところは、ドキュメントをデータベースという形でリレーションできるところかと思
[AWS CDK]CDKからCloudWatch Dashboardを作成する方法
## はじめに
この記事は、[ミロゴス Advent Calendar 2022](https://qiita.com/advent-calendar/2022/milogos) 15日目の記事です。
CloudWatch Dashboardを作成する方法をまとめました。## Amazon CloudWatchとは
> Amazon CloudWatch は、Amazon Web Services (AWS) リソースと、AWS で実行されているアプリケーションをリアルタイムでモニタリングします。CloudWatch を使用してメトリクスを収集し、追跡できます。メトリクスとは、リソースやアプリケーションに関して測定できる変数です。
https://docs.aws.amazon.com/ja_jp/AmazonCloudWatch/latest/monitoring/WhatIsCloudWatch.html## Amazon CloudWatch Dashboardとは
> Amazon CloudWatch ダッシュボードは、CloudWatch コンソールにあるカスタマイ
