- 1. 日没10分前に照明をつける SwitchBot × GoogleMaps × OpenWeatherMap
- 2. re:Invent 2023でGAされたAgents for Amazon BedrockとAmazon Kendraを組み合わせてRAGを構築
- 3. AWS Glue Data Quality のanomaly detectionとdynamic rulesを試してみた
- 4. Amazon Linux 2023でCloudWatch Agentを設定する
- 5. 【初心者向け】細かいこと抜きでとりあえずTerraformを触ってみる
- 6. Amazon configとAWS System Managerで組織ルールをらくらく監査 その１
- 7. リリースから7年間EC2で稼働していたWEBサービスをついにコンテナ化した話
- 8. AWS アクティブなリソースがないかタグエディタで検索する
- 9. AWS Apache の Virtual Hostを検証してみた
- 10. 普段のおしごと
- 11. 【AWS Lambda関数作成】Lambda関数の開発とデバッグ
- 12. AWS Lambdaの超基本的なTips
- 13. S3のフォルダごとの総容量、総サイズを知る方法
- 14. AWS Organizationを使って本気でAWSアカウントを守る
- 15. 【AWS】ストレージ
- 16. クリーンウィークの活動と感想について
- 17. AWS CodeDeployを設定してみる EC2にデプロイ
- 18. EC2 Macインスタンスの構築と運用について
- 19. [機能拡張]IaC対応されたAmazon CodeWhispererの稼働検証をしてみた
- 20. マイクロサービスにおける軽快なE2Eテストを、ローカルとEC2のハイブリット構成で実現
日没10分前に照明をつける SwitchBot × GoogleMaps × OpenWeatherMap
## はじめに
お留守番ネコの様子をXとLINEで分かるようにする記事を前に書きました。https://qiita.com/dmackey_2128/items/7a7e01ea47e745913fcb
でも・・・
— まっきー🐈⬛ (@dmackey_2139) December 16, 2023
re:Invent 2023でGAされたAgents for Amazon BedrockとAmazon Kendraを組み合わせてRAGを構築
この記事は[Japan AWS Jr. Champions Advent Calendar 2023](https://qiita.com/advent-calendar/2023/jr-champions) 16日目の記事です！
## Agents for Amazon Bedrockとは
re:Invent 2023よりGAが発表されたAmazon Bedrockの新機能です。通常の基盤モデルの場合、質問すると回答してくれるのみのため、実際のタスクはその回答を読んだ人間が行う必要がありました。
これに対し、**Agents for Amazon Bedrock** では、質問に対して何をすべきかを基盤モデル自身が**思考**し、**計画**し、**実行**してくれます。さらに事前に関数を設定することで、質問に対し必要であれば関数を実行する、ということまで自律して行ってくれます。
[LangChain Agent](https://zenn.dev/umi_mori/books/prompt-engineer/viewer/langchain_agents)に機能としては似
AWS Glue Data Quality のanomaly detectionとdynamic rulesを試してみた
# 背景・目的
2023年11月末に、[AWS Glue Data Quality announces anomaly detection and dynamic rules](https://aws.amazon.com/about-aws/whats-new/2023/11/aws-glue-data-quality-anomaly-detection-dynamic-rules/?nc1=h_ls)が発表されました。しばらく経ってしまいましたが、興味がある分野でしたので試してみたいと思います。# まとめ
:::note info
– 2023 年12月16日現在
– プレビューです。
– 下記のリージョンで利用が可能です。
– 米国東部 (オハイオ州、バージニア北部)
– 米国西部 (オレゴン州)
– アジアパシフィック (東京)
– ヨーロッパ (アイルランド)
– Glue4.0のETLとGlue Studio Visual ETLのみ提供されています。
:::
– 過去の統計を分析し
Amazon Linux 2023でCloudWatch Agentを設定する
# やること
2023年3月にリリースされたAmazon Linux 2023にCloudWatch Agentをインストールしてメトリクスを収集します。Amazon Linux 2023はFedoraベースとなって（ただしFeroraとの互換性はない）、パッケージ管理ツールがyumからdnfへの変更、5年間のサポートを基本とするライフサイクルなどの変更がありました。
そのため、今までAmazon Linux2で使用していたインストール手順が使えなくなったので改めてまとめてみます。使用したAMIは以下の通りです。
`al2023-ami-2023.2.20231113.0-kernel-6.1-x86_64`
# EC2の準備
まずはCloudWatchを使用できるロールを持ったEC2を立てます。コンソールから立てても構わないのですが、今回はAWS CDKで設定しました。概要は以下のような感じで、インスタンスロールに`CloudWatchAgentServerPolicy`を適用します。また、UserDataを使って起動時にエージェントをインストールしてしまいます。“`
【初心者向け】細かいこと抜きでとりあえずTerraformを触ってみる
# はじめに
この記事では、「とりあえず細かいことは考えずに、Terraformを試してみる」というテーマで、Terraformを使用してAWSのリソースを作成・変更・削除してみることを目標にします。記事の構成は以下の通りです。
1. 実行準備をしてみる
2. Terraformの記法をゆるく眺めてみる
3. 実際にtfファイルを作成してみる
4. 実際に実行してみる～リソース作成～
5. 実際に実行してみる～リソース変更・削除～細かいことは抜きたいので、以下の要素等はまとめない予定です。
– インフラストラクチャのコード（IaC）とは？
– Terraformとは何か？
– Terraformのメリットとデメリット
– providerとは？
– tfstateとは？
– moduleとは？
– リソースの設計やtfstateの管理・運用のベストプラクティスとは？
– などなど・・・ベストプラクティス等を含め体系的に学びたい初心者の方は、以下の技術書がオススメです。
qiita内に関連する
Amazon configとAWS System Managerで組織ルールをらくらく監査 その１
## きっかけ
・私の所属する組織はセキュリティルールがかなり厳しい
・組織内の多数メンバーに学習目的のAWS環境を提供する
・メンバーはきっとセキュリティルールを守ろうとがんばるはず
・しかし、人間が行えば一定の漏れやミスが発生してしまうもの
・セキュリティルールを手作業で確認するのは**Undifferentiated Heavy Lifting**
・自動化は誰もがうれしい！
・時間は、価値を生むための仕事にまわす！
・なので、ルール確認を自動チェック、自動修復することにしました！## Amazon config AWS System Managerとは？
AWS Configは、AWSリソースの設定が設定したルールに準拠しているかどうかを自動チェックできます。自動チェックによりルールに準拠していない場合、AWS Systems Managerによって、自動修復することができます## 自動チェックと自動修復の内容
#### AWS Configで、指定タグが付与されているか、自動チェック
学習目的のAWS環境は多数のメンバーにより、色々なリソースが随時作成されます。誰が作
リリースから7年間EC2で稼働していたWEBサービスをついにコンテナ化した話
:::note info
この記事はLITALICO Advent Calendar 2023のカレンダー2の16日目の記事です。
https://qiita.com/advent-calendar/2023/litalico
:::# はじめに
## 自己紹介
株式会社LITALICOでWEBエンジニアをやっています。ti-aiutoと申します。
普段は個人向けのWEBサービスの開発を担当していて、特にモノリスなアプリケーションを持続可能な形に保つこと、フロントエンドの開発しやすい環境を整えることに関心があります。
今年度から、新設の基盤グループというところに異動して、セキュリティ面・パフォーマンス面や開発効率向上などの観点から色々と動いていく仕事をしています。
## 何の話か
タイトルの通り、作業時点で7周年とそれなりに歴史のあるWEBサービスをEC2からFargateに移行するのを頑張りました！という話です。
作業していく中で検討したポイントや大変だったところなど紹介していければと思います。
## 対象読者
WEBエンジニアの皆さまに読み物としてふ〜んという
AWS アクティブなリソースがないかタグエディタで検索する
# はじめに
消し忘れによる想定外の料金の請求を防ぐために、タグエディタを使用して現在アクティブなリソースを検索する手順を記載します。公式サイトの手順
https://repost.aws/ja/knowledge-center/check-for-active-resources
料金については以下のサイトが詳細に記載しています。
https://iret.media/74015# 対応方法
アクティブなリソースがないかタグエディタで確認します。
サービス > AWS Resource Groups をクリックする
左ペインのタグエディタを選択してリージョンは「All regions」リソースタイプは「All supported resource types]」を選択します。その後、リソースを検索ボタンを押しました。
CSV エクスポートを押しました。
後日、この設計を採用した詳細を書きます。
【AWS Lambda関数作成】Lambda関数の開発とデバッグ
## はじめに
【AWS Lambda関数作成】Lambda関数の開発に関しての備忘録です。
初心者です😅
間違えてる部分が多々あると思います。
もし見つけた場合、ツッコミいただけると助かります🙇
## 🦁**結論**🦁
## 作成手順
1. 関数の作成
2. エディタにて関数作成（AWS Lambdaに直接でも可能）
3. Lambdaにアップロード
4. デバック（テスト）の実施:::note info
押さえておくべき点
* lambdaはサーバーレスコンピューティング
* サーバーレスコンピューティングはユーザーインターフェイスを持ってないためヘッドレスブラウザが必要になる。
* loggerを使ってログを残すことを行う
* **headlessのWindowサイズは1200×1000**
* サーバーのデータのやり取りは基本は「json形式」
* 関数の最後にレスポンスの定義をする。:::
***:::note alert
注意点
* ほとんどのコードを関数の中に書き込む必要がある（変数定義、空の
AWS Lambdaの超基本的なTips
## この記事について
この記事は [SUPER STUDIO Advent Calendar 2023](https://qiita.com/advent-calendar/2023/superstudio) の16日目の記事になります。
## 前提
最近、業務でLambdaをゴリゴリに扱うプロジェクトに配属されており、ちょっとしたコツとか意識しなくてはいけないポイントが見えてきたので備忘録的に書いていきます。
超基本的な内容ばかりで恥ずかしいですが、意識しないと抜けることもあるので。
## 15分の限界を超えないようにする
これはもはや意識するまでもないLambdaの最も基本的な制約ですね。
1回のLambdaで処理できるプロセスは15分を超えることができません。15分を超えるとTimeOutします。“`
Task timed out after 3.00 seconds（TimeOut３秒の場合）
“`これはそもそもLambda自体が長期間の稼働を前提とする重い処理を想定していないからですね。すぐ終わる軽量な処理を（インフラの面倒を見る必要なく）簡単にたく
S3のフォルダごとの総容量、総サイズを知る方法
S3のフォルダごとの総容量、総サイズの調べ方調べると
“`
aws s3 ls s3://[バケット名]/[フォルダ名]/ –recursive –human –sum
“`がよく出てくるんだけど、これだと数十万という大量のファイルが入ってるフォルダ調べるの時間かかるし、お金もかかるしもっといい方法あるんじゃないの？、と思ったらマネコンで簡単にできた。
# 手順
– AWS Management Console にサインインし、Amazon S3 コンソール https://console.aws.amazon.com/s3/ を開きます。
– 左側のナビゲーションペインで、[バケット] を選択します。
– [Buckets] (バケット) リストで、フォルダが保存されているバケットの名前を選択します。
– [Objects] (オブジェクト) リストで、フォルダの名前の横にあるチェックボックスをオンにします。
– [Actions] (アクション) を選択し、[Calculate total size] (合計サイズを計算する) を選択します。。この記事ではAWS Organizationに関連する内容を超詳細にまとめています。
具体的には以下流れで説明します。
– AWS Organizationとは
– AWS Organizationの仕組み
– AWS Organizationの活用
– AWS OrganizationのベストプラクティスAWSの区分でいう「Level 200：トピックの入門知識を持っていることを前提に、ベストプラクティス、サービス機能を解説するレベル」の内容です。
# この記事を読んでほしい人
– AWS Organizationがどういうサービスか説明できるようになりたい人
– AWS Organizationを採用するときのベストプラクティスを説明できるようになりたい人
– AWS Certified DevOps Engineer Professio
【AWS】ストレージ
# ストレージとは
データを長期間保存するための記憶装置。| ストレージ | 説明 |
| —- | —- |
| ブロックストレージ | 高速なデータアクセスに有効 |
| ファイルストレージ | 複数のクライアントからのデータアクセスに有効 |
| オブジェクトストレージ | APIを使って接続 |# ブロックストレージ
データを**ブロック**という単位で分割して管理するストレージ。データを格納するブロックには一意のIDが付与され，データアクセス時にこのIDを使用する。このアクセス方式を**ブロックアクセス**という。データへのアクセスはOSが提供する**ファイルシステム**を使用。## EBS(Elastic Block Store)
EC2向けにブロックストレージを提供するサービス。# ファイルストレージ
データをファイルとみなし，階層構造になったフォルダに保存するストレージ。データアクセス時にはデータが保存されているパスを指定する。
**ファイル共有機能**を持ち，ネットワークごしにファイルストレージへマウントすることでPCやサーバでデータを保持して
クリーンウィークの活動と感想について
## はじめに
この記事は、[ミロゴス Advent Calendar 2023](https://qiita.com/advent-calendar/2023/milogos) 16日目の投稿です。
当社では、月次でシステムリソースの断捨離を行うクリーンウィークという施策を実施しています。
本記事では、クリーンウィークの活動内容について話していければと思います。## クリーンウィーク施策とは
クリーンウィークは、自社運用しているサービスのAWSリソースやドキュメントなどを幅広い範囲で見直し、不要なものがないかを定期的に整理・削除する活動です。この活動を通してAWSリソースが整理され、コストが削減されることを期待しています。
このコストには、単純なAWS利用料という側面だけでなく、メンバーの認知不可の軽減や、各種作業における待ち時間の短縮などの観点も含まれています。
また、組織メンバーがプロダクトやプロジェクトについて理解を深める機会ともなります。## 施策導入の経緯
当社では、歴史的経緯で過去のプロジェクトを見直す機会が少なかったため、既存プロジェクトの古いドキュメントに
AWS CodeDeployを設定してみる EC2にデプロイ
## 概要
AWS CodeDeployを初めて触ったので体験記的に残しておく。
今回はGithubで管理されているlaravelのコード郡をEC2にデプロイする。WebサーバーはApacheを使っている。
当該のEC2は下記の方法（一部PHPのバージョンなどは異なる）で構築し、手動git pullでコードの取得しEC2のパブリックDNSでブラウザからwelcome画面が開くことを確認できている。https://qiita.com/miriwo/items/b39d1ac6289c54cc2cfd
## 前提
先に下記の記事で構築したCodePiplineに、本記事で作成するCodeDeployを紐づけて動作確認を行っている。
https://qiita.com/miriwo/private/ea5b16655612002b8af0
またCode三兄弟と言われるAWSリソースのざっくりとした役割分担を下記に簡単にまとめた。
https://qiita.com/miriwo/items/c28204e3f53150dca2ce
## 基本的な設定項目
先に決定しておい
EC2 Macインスタンスの構築と運用について
## はじめに
この記事は [Cocone Advent Calendar 2023](https://qiita.com/advent-calendar/2023/cocone) 16日目の記事ですココネ株式会社でサービスインフラエンジニアを担当しているyamadaです
主にAWSやGCP,オンプレミスのインフラ設計、構築、運用を行っておりますあるサービスで新規システムを導入することになり、システムの一部でMacOSを使用したいとプログラマから要望が出ました
なかなか珍しい要件で過去事例は無かったですが、オンプレミスのMacをシステムに導入するのは物理的なリスクや課題も多いと判断し
EC2のMacインスタンスを採用することになりました導入経験がなく、ネット上にも情報が少なく苦戦したところが多かったので
今回はEC2 Macインスタンスの構築手順や実際の運用で得られたノウハウ等をまとめたいと思います## 対象者
この記事は下記のような方を対象にしています
* サーバー構築・運用経験がある
* AWSでEC2インスタンスを作成したことがある
* LinuxベースのEC2イ
[機能拡張]IaC対応されたAmazon CodeWhispererの稼働検証をしてみた
## はじめに
2023年11月に開催されたAWS reInvent2023で発表された新機能、アップデートの中に、[Amazon CodeWhisperer](https://aws.amazon.com/jp/codewhisperer/?nc2=h_ql_prod_ml_cw)の機能拡張が紹介されていました。これまで、Amazon CodeWhisperer(以下、CodeWhisperer)は主にプログラミング言語に対するAIコード作成支援、コードのセキュリティー・スキャン機能のサポートがされていました。今回のアップデートでは、IaC(CloudFormationやTerraform)に対しても同様の機能をサポートするように機能拡張されています。私はIaC大好き人間なので、早速CloudFormationのコードに対してCodeWhispererの稼働検証を実施しました。## CodeWhispererのセットアップ
CodeWhispererは様々なIDE(統合開発環境)で利用することが可能です。今回は、VS Code(以下VSC)上にCodeWhisperer環境を導入
マイクロサービスにおける軽快なE2Eテストを、ローカルとEC2のハイブリット構成で実現
はじめまして! これは[ディップ Advent Calendar 2023](https://qiita.com/advent-calendar/2023/dip-dev) の16日目の記事です。
# 目次
1. [はじめに](#はじめに)
2. [なぜWindowsとMacを使うメンバーが混在したことで生産性が下がったのか？](#なぜwindowsとmacを使うメンバーが混在したことで生産性が下がったのか)
3. [対象者](#対象者)
4. [ざっくりとしたプロダクトのアーキテクチャ](#ざっくりとしたプロダクトのアーキテクチャ)
5. [最初の構成の問題点](#最初の構成の問題点)
6. [解決策](#解決策)
7. [実際にハイブリット構成で運用してみたことによる所感](#実際にハイブリット構成で運用してみたことによる所感)
9. [おわりに](#おわりに)# はじめに
はじめまして、ディップ株式会社で開発エンジニアをさせていただいております。@sogenです。この記事では、私のチームで実践した**ローカルとEC2のハイブリット構成のE2Eテスト環境**の構築設計を
