- 1. FrontISTRをAWS ParallelCluster バージョン3で利用する②
- 2. AWS公式資料で挑むSCS認定(21)-こんな時どうする
- 3. AWSの主なサービスをまとめてみた
- 4. AWS CloudEndureを使ってMigrationを仕掛ける際の考慮事項
- 5. Laravelバッチ(コマンド) のログをバッチ毎にCloudWatch Logsへ出力する
- 6. Transcribe ではやぶさ2記者会見を文字起こししてみた
- 7. AWS CDK v1(TypeScript)でVPC作成時のAZを指定する
- 8. 新卒クラウドエンジニアの1年間を振り返ってみる③
- 9. 【SAA-C02】実務経験なしで9日間でAWSソリューションアーキテクトアソシエイト認定試験に合格した体験記
- 10. AWS Distro for OpenTelemetryのCollectorとGo SDK on Traces Instrumentation
- 11. CloudFormationで作成したIAMポリシーのステートメント内のプロパティはいつも同じ順番になる／コンソールで作ったものとも順番が異なる
- 12. AWS認定試験の一連の流れ
- 13. AWS Certified Data Analytics – Specialty(DAS) を取得しました
- 14. 【AWS】buildspec.ymlとは
- 15. ADOPをAWSのubuntuで動かす（ただしカクカク）
- 16. Fleet Managerを利用したWindowsインスタンスへのRDP接続
- 17. FrontISTRをAWS ParallelCluster バージョン3で利用する①
- 18. Lambda Layersを使って処理をまとめてみた
- 19. インターネットを経由せずに分散負荷テストをFargateに実行する
- 20. [RTX830]YAMAHAルーターでAWS-VPCに接続してVPNをはってみた
FrontISTRをAWS ParallelCluster バージョン3で利用する②
# 0. はじめに
前回の記事では，カスタムAMIの作成とAWS ParallelCluster (コマンドラインツール)のインストールまでを行いました．これらの作業がまだの方は，下記「シリーズの流れ」より1回目をご覧ください．
今回は，AMIを利用して実際にParallelClusterを起動するところまでを扱います．具体的な内容は，設定ファイルの作成とコマンドの確認・実行になります．
—
# 1. シリーズの流れ
1. [ParallelCluster バージョン3用のカスタムAMIの作成](https://qiita.com/chikasuiro/items/b4b7899437e6e8e126ff)
1. ParallelCluster バージョン3用の設定ファイルの作成〜起動 (この記事)
1. Slurmを利用したFrontISTR並列実行 (準備中)—
# 2. 設定ファイルの作成
## 2.1. バージョン2用との違い
書籍のサポートリポジトリではAWS ParallelCluster バージョン2用の設定ファイル「v2.11.1-Front
AWS公式資料で挑むSCS認定(21)-こんな時どうする
##### [前回] [AWS公式資料で挑むSCS認定(20)-こんな時どうする](https://qiita.com/mingchun_zhao/items/1bd86bf67119be51fd19)
## はじめに
前回に続き「こんな時どうする」をまとめ中です。
今回は「分野3: インフラストラクチャのセキュリティ」となります。## 「分野3: インフラストラクチャのセキュリティ」基本知識のおさらい
### エッジセキュリティに使用されるサービス
– Amazon Route 53
– ドメインネームシステム(DNS)ウェブサービス
– AWS WAF
– アプリケーションファイアウォール
– 機能: SQLインジェクションやクロスサイトスクリプト攻撃をブロック
– Amazon CloudFront
– コンテンツ配信ネットワーク(CDN)サービス
– AWS Shield
– 分散サービス妨害(DDoS)のマネージド型防御サービス
– 機能: AWSで実行しているアプリケーションを保護### DDoS攻撃緩和に使用
AWSの主なサービスをまとめてみた
# はじめに
当記事はAWSの主なサービスを備忘録として簡潔にまとめていこうと思います。
個人開発者目線での記事となっています。
初学者なので間違っていることや分かりにくい部分があると思いますが、ご指摘いただけたら幸いです。# AWSとは
`AWS`とは`Amazon Web Service`の略でAmazonが提供する`クラウドサービス`です。
AWSではWebサイトの運営やビッグデータ分析、機械学習などをすることができます。様々なニーズに合わせた多様なサービスがあるので必要なサービスを学習していくことが重要になってきます。
今回はWebサイト運営を目的とした記事となります。
# VPC (Virtual Private Cloud)
AWS上でネットワークを提供する仮想ネットワークサービス。
扱うサービスの作業範囲を決めるような認識。|アイコン|としては、VMImport や Server Migration Service がありますが、前述のサービスより手軽で幅広いシーンに対応できることから非常に使い勝手がよく、個人的には第一選択とすべきと考えています。
| サービス名 | 特徴 | データ同期 |
| — | — | — |
| VMImport | VMwareからエクスポートしたサーバイメージをインポートしEC2に変換| 無し |
| Server Migration Service | 仮想化基盤（VMware、Hyper-V）からサーバイメージを抽出しEC2に変換 | 無し |
| Clo
Laravelバッチ(コマンド) のログをバッチ毎にCloudWatch Logsへ出力する
## はじめに
EC2上でLaravel APIサーバーが稼働しています。
このAPIサーバーでは`$schedule->command`を使用して定期的にバッチ(コマンド)の実行もしています。
（バッチサーバーも兼ねているわけです。）APIとバッチがあいのりしている件はあまり良くないですが、今回はその改善には触れません。
今回の問題はログです。
`storage/logs`配下へログを出力していますが、
1つのログファイルにAPIとバッチのログがまじってしまっており、さらにバッチが10個程度存在していたため、
どれがどのログなのかを理解する・探すのも難しい状態になっていました。そこで各ログファイルを分け、ついでにCloudWatchLogsへ連携してみました。
## バッチごとにログを分ける
### logging.phpへチャンネルの設定を追加する
バッチごとに使用するログチャンネルの設定を記載します。
日毎にローテーションしていたり、debugログすべて出力していたりするのでそこは調整してください。“`php:config/logging.php
~省略~
Transcribe ではやぶさ2記者会見を文字起こししてみた
専門用語多く含む宇宙科学分野の内容を Transcribe で文字起こしするとどうなるか試しました。
また、カスタム語彙を追加した場合も試しました。## まずは普通にやってみる
### Input Data
YouTube に公開された下記の記者会見動画のうち 4:26 以降、約 5 分間の音声を使用。
QuickTime Player で録音して iTunes で .m4a から .mp3 ファイルに変換。[【録画】小惑星探査機「はやぶさ２」の記者説明会（22/1/13）](https://youtu.be/4DlL7ydS9fA?t=267)
### カスタム語彙なしの場合の結果文字起こし結果全文
> はい では スタート いたし ます 本日 は あの 記者 会見 として えっ と カタログ の えー 話 を し、 たい と 思い ます 皆さん お 集まり いただき まし て どうも ありがとう ござい ます えー 内容 と いたし まし て は 二 千 二 十 二 年 の 一月 十 三 日 つまり 本日 初 の
AWS CDK v1(TypeScript)でVPC作成時のAZを指定する
## 概要
AWS CDKでVPCと同時にサブネットを作成するとき、AZが自動で選択されてしまう
旧AZ(apne1-az3)[^1]ではできないことがいくつかあるため、AZを指定したい[^1]: AZ名ではなくAZ IDで書いている。AZ IDについては[こちら](https://dev.classmethod.jp/articles/use-az-id-for-identify-az-crossing-over-account/)を参照
https://blog.serverworks.co.jp/tech/2019/10/02/apne1-az3/
## 実行環境
“`bash
:~ $ cdk version
1.148.0 (build 69a50f1)
“`## 解決方法
availabilityZones()を、指定したいAZ名を返すようにオーバーライドする
こんな感じ
“`typescript
import * as cdk from ‘@aws-cdk/core’
import * as ec2 from ‘@aws-cdk/aws-ec
新卒クラウドエンジニアの1年間を振り返ってみる③
# 昨日の記事の続きです
https://qiita.com/cakofei/items/5859f9ffafa18a1b2046# 1、2月(覚醒期)
年が明けて2022年、ようやく覚醒期を迎えることが出来ました。実を言うと2021年はプライベートの時間にJavaScriptやRubyなどのプログラミング言語の学習も並行でしていたのですが、なかなか継続的に続かず週に合計4~5時間がようやくという感じでした。結果として勉強は中途半端になりプログラミングスキルは身に付かず、クラウド知識も身に付くのが遅れてしまいました。
何故クラウドエンジニアなのにプログラミング言語の勉強をしていたかと言うと、自分もサービス開発をしたい思いがあったからです。
ですが時間は有限で、したいことを全部するにはあまりにも時間が足りません。
なので2022年の目標は「やるべきこと以上にやらないことを決断すること」としました。そこで一旦プログラミング言語を学習するのは辞めて、1~2月はAWSの勉強だけに絞ることにしました。
その結果、以前とは比べ物にならないくらいAWSを理解し始め、少しずつですが自
【SAA-C02】実務経験なしで9日間でAWSソリューションアーキテクトアソシエイト認定試験に合格した体験記
# この記事は何か。
9日間（日曜日夕方に開始して丸一週間＋月、火曜日）でAWSソリューションアーキテクトアソシエイト認定試験に合格できたので、その体験記です。ちなみに、私自身は、エンジニア職ではありますが、コーディングから離れて1年半、今はシステムエンジニア兼プロジェクトマネージャ的なポジションで仕事をしています。
ですので、情報処理的な素養はありつつ、AWSやAzure、GCPといったプラットフォームに触ったことがない人が、リアルタイムアタック的に受けるとこんな感じ、みたいな参考にして頂ければと思います。様々な方が様々なエントリを書かれていたので記事を書いてみようかなと思えました！先駆者の方々の取り組み方は非常に参考になりました。ですので、この記事もその中の一つに入れていただけると幸いです。（**あと、初めての記事なので反応貰えると嬉しいです……**）
# 受験動機
簡単にいうと**危機意識**です。手元にある技術といえば、コーディング（UML書けますとか、テスト技法解ります、C++11/14使ってました）、OOP（デザインパターンがわかりますとか）とかで何か証明できるようなも
AWS Distro for OpenTelemetryのCollectorとGo SDK on Traces Instrumentation
## AWS Distro for OpenTelemetry
OpenTelemetryは、オープンソースのプロジェクトで、
アプリケーション監視用の分散トレースとメトリックを収集するために、
ライブラリ・API・エージェントが提供されています。
AWS Distro for OpenTelemetryはOpenTelemetryをAWSで使うためのディストリビューションです。OpenTelemetry自体については、[freeCodeCamp.orgの動画](https://www.youtube.com/watch?v=r8UvWSX3KA8)が参考になるかと思います。
## AWS Distro for OpenTelemetry Collector
OpenTelemetry Collectorについては[こちら](https://github.com/open-telemetry/opentelemetry-collector/blob/main/docs/design.md)が参考になります。こちらのdocker版サンプルを実施します。
https://git
CloudFormationで作成したIAMポリシーのステートメント内のプロパティはいつも同じ順番になる／コンソールで作ったものとも順番が異なる
## はじめに
IAMポリシーのステートメント内のプロパティの順番について、IAMポリシーを作成する方法が異なるとその順番も異なるということに気が付きました。
## 前提
CloudFormationのテンプレートでステートメント内のプロパティを以下のようにしたとします。
* myPolicy1: Sid, Action, Effect, Resource の順に記述
* myPolicy2: Sid, Effect, Action, Resource の順に記述## テンプレート
ActionやResourceは適当な内容にしています。
“`YAML
AWSTemplateFormatVersion: “2010-09-09”Resources:
Policy1:
Type: AWS::IAM::ManagedPolicy
Properties:
ManagedPolicyName: myPolicy1
PolicyDocument:
Version: “2012-10-17”
Stat
AWS認定試験の一連の流れ
## 目次
– この記事を書いた動機
– 試験申し込み（リアル）
– 勉強方法
– 結果確認方法## この記事を書いた動機
AWS認定試験を受けようと思ってから、分からなかったこと、不安になったことがあったからです。
この記事を読み、それらの疑問や不安を払拭し、万全な状態で試験に挑むことができれば、と思います。## 試験申し込み
私はリアルで試験を受けたので、リアルの試験について書いていきます。
大まかな流れとしては、「受ける試験」「テストセンター」「会場」「試験日程」です。1. AWS認定アカウントを作成
AWS認定資格登録のために、AWS認定アカウントが必要なため作成します。
以下のリンクから作成できます。
[https://www.aws.training/certification](https://www.aws.training/certification)2. テストセンターを選択
上部タブ『試験登録』から、テストセンターの選択します。
PSIかピアソン VUEがあり、私はピアソン VUE
AWS Certified Data Analytics – Specialty(DAS) を取得しました
# はじめに
AWSの資格を毎年1～2個取得していますが、AWS Certified Data Analytics – Specialty(DAS)にチャレンジしてみました。
取得済みの資格は下記の通りとなります。
– CLoud Practitioner
– Developer Associate
– Solutions Architect Associate
– SysOps Administrator Associate
– DevOps Engineer Professional
– Solutions Architect Professional
– Advanced Networking Specialty
– Security Specialty# AWS Certified Data Analytics – Specialty(DAS) とは
[この辺](https://aws.amazon.com/jp/certification/certified-data-analytics-specialty/)を参照ください。# 教材
1. [Udemy:AWS Ce
【AWS】buildspec.ymlとは
# buildspec.ymlとは
“buildspec.yml“とは、ビルド実行時に実行するコマンドを記述した**YAML**形式のファイルのこと。
このファイルをソースコードのルートディレクトリに配置することで**CodeBuild**が“buildspec.yml“を読み込んで実行される。
**CodeCommit**を使用する場合は、リポジトリのルートディレクトリに配置する。“buildspec.yml“には以下のような項目が記述される。
## version
これは必須項目で**buildspec**のバージョンを指定する。参考文献では“0.2“が推奨されていた。
“`yml
version: 0.2
“`## env
これはオプションの項目で環境変数を設定する。DB接続に関する情報などを設定したりする。
“`yml
env:
<環境変数名>:<値>
“`## phases
これは必須項目でビルド実行時に**CodeBuild**が実行するコマンドを記述する。
また、**CodeBuild**ではフェーズごとに実行する内容を以下の
ADOPをAWSのubuntuで動かす（ただしカクカク）
フォトグラメトリのADOPをAWSで動かすことに成功したので備忘メモ
# ADOPとは
以下です。
https://github.com/darglein/ADOP
フォトグラメトリのライブラリで、NvidiaのGPUが載ったubuntu18とubuntu20に対応しています。これをAWSで動かそうと悪戦苦闘したら動いたので報告
# 動作環境
動作確認環境は、 g3.4xlargeとg4dn.4xlarge。
ubuntu 20.04で動作確認。18では動作確認してません。# ハマリポイント
## NICE DCVでUbuntuに繋ぐ必要がある
これは使用するOpenGLの問題で、RemoteDesktop(RDP)でつなぐとどうしてもOpenGLがMesaになってしまってうまく動作してくれない。
最初、MacからRDPでアクセスしても最後の最後でOpenGLエラーで動かなくなってしまっていたが、
Ubuntu内にNICE DCVサーバを立てて、NICE DCVでつなぐと、NvidiaのOpenGLが動いてくれる。以下を参考にしながらインストールすると良い。
htt
Fleet Managerを利用したWindowsインスタンスへのRDP接続
# 概要
SSM(AWS Systems Manager) Session Managerは以下の理由で便利なのでよく使っていた。
– 踏み台サーバ構築する必要ない
– ポート（22,3389）開く必要ない
– AWSコンソールかCLIベースでアクセスできる
– CloudTrailとかS3とかCloudWatch Logsにログ残せるひと昔前の運用方式を考えてみると、踏み台サーバたてて、そこから各サーバに接続する方式が多いと思う。かくいう私もそのケースが多い。
だがしかし、踏み台ベースの運用って怖いものがあって、例えば踏み台サーバがSPOFになる事もままある。
そうすると障害が発生した時に踏み台も死んでると何もできないという運用にはあってはならない状況が発生してしまう。
かといって踏み台サーバを冗長化しておくっていうのも費用がかかってしまうのでやっているケースは少ない。
また、他の考慮点として操作ログをどのように取得して保存しておくのか？といった事を考慮して仕組みを作るのも手間だったりする。
LDAP連携とかするのもありだが、結局OSのローカルユーザ作ってログ取るみたいな運用した
FrontISTRをAWS ParallelCluster バージョン3で利用する①
# 0. はじめに
この記事は[『非線形並列有限要素法』(2022, 丸善出版)](https://www.maruzen-publishing.co.jp/item/b304455.html)の第8章の内容を参照できることが前提となっています．書籍に掲載されている内容と同じ部分については，記事中では省略します．
—
# 1. シリーズの流れ
1. ParallelCluster バージョン3用のカスタムAMIの作成 (この記事)
1. [ParallelCluster バージョン3用の設定ファイルの作成〜起動](https://qiita.com/chikasuiro/items/f95fdffc4e56e58fc27e)
1. Slurmを利用したFrontISTR並列実行 (準備中)—
# 2. FrontISTRを導入したEC2インスタンスの作成
書籍8.1節のp. 205〜p. 220「S3バケットの作成」までは完了しているとして，p. 221「ParallelCluster用のEC2を作成」の部分を扱っていきます．
ParallelClusterの
Lambda Layersを使って処理をまとめてみた
## 背景
アカウントAの複数のLambdaから別のアカウントのEC2の情報を取得する実装を行っていて、Lambdaの中がほぼ同じ処理なのでLambda Layersを使ってmodule化してみます
## 今回話すこと
– Lambda Layersの概要
– Lambda Layersの使い方## 今回話さないこと
– クロスアカウントロール周り
– Lambdaのコードの解説
– Lambda関数の作成方法## Lambda Layersの概要
公式には下記のような説明があります
>Lambda レイヤーは、追加のコードやデータを含めることができる .zip ファイルアーカイブです。簡潔に言うと1つの関数を定義してそれを複数のLambda関数で使うことができるということです。!
インターネットを経由せずに分散負荷テストをFargateに実行する
AWS分散負荷テストは、テスト対象のサービスに大量のリクエストを発生させて、パフォーマンスにどのような影響が起きるかを検証できるツールです。
このツールを使用してfargateで作成したWebサイトへ負荷テストをかける際に、PrivateLinkを使って、負荷テストのVPCからテスト対象のVPCへインターネットを経由せずに実行してみます。
## 概要
– [AWS分散負荷テスト環境の作成](#aws分散負荷テスト環境の作成)
– [Fargateでテスト対象となるWEBサイトの作成](#fargateでテスト対象となるwebサイトの作成)
– [VPCエンドポイントサービスの作成](#vpcエンドポイントサービスの作成)
– [負荷テストの実行](#負荷テストの実行)
– [通信費は抑えられるのか？](#通信費は抑えられるのか)
– [PrivateLinkを使用した場合](#privatelinkを使用した場合)
– [インターネットを経由した場合](#インターネットを経由した場合)
– [まとめ](#まとめ)## AWS分散負荷テスト環境の作成
負荷テスト環境の
[RTX830]YAMAHAルーターでAWS-VPCに接続してVPNをはってみた
## やりたいこと
タイトル通り、AWS-VPCを作成しVPN接続する
*プロバイダーさんにインターネット接続できる状態にしてもらっている前提です。#環境
`OS: Windows 10`
`Terminal: Tera Term`
`Settings: AWS`
`Router: YAMAHA RTX830`#AWS VPC設定
### カスタマーゲートウェイ
AWSでカスタマーゲートウェイの作成をします。
契約したプロバイダーから教えてもらったグローバルIPアドレスを入力します。他に`名前`を任意で設定し、後は全てデフォルトのままにしました。
### 仮想プライベートゲートウェイ
AWS側の仮想プライベートゲートウェイは移転前の設定があったので、それを流用しました。### サ
