- 1. Load data into Oracle DB from AWS S3
- 2. 企業のデータ分析体制ってどうやって作るの？(マスキング処理と分析データ更新の自動化を実案件をふまえて解説)
- 3. S3アップロードをトリガーに画像をLambdaでDropbox Businessにアップロードする
- 4. LambdaでDropboxのアクセストークンを取得する
- 5. 何となくわかった気になる週刊AWS – 2021/9/13週
- 6. [個人開発]自己満足なSNSアプリをリリースした記録
- 7. AWS マネジメントコンソールについて
- 8. Amazon MSKをトリガーにSASL/SCRAM認証でLambdaを実行する
- 9. 【AWS試験】50歳のおっさんがソリューションアーキテクト アソシエイト(SAA)を受けて合格した話
- 10. AWS：EC2を使う
- 11. AWS作業環境の構築
- 12. Ansible で Amazon Aurora の起動・停止
- 13. CloudFormationでパラメータ入力順を指定する方法
- 14. ECSのNetwork Mode awsvpcとbridgeとHostの比較
- 15. Kinesis Data AnalyticsのApache Beamチュートリアルをやってみた
- 16. AWSでAIサービスを使ってみる〜第12回personalize編その②〜
- 17. terraformのstate管理用にdynamodbとs3をプロビジョニングする
- 18. Windows Server 2022 のTCPパフォーマンス向上について，実機計測してみた
- 19. fzfを用いてAWS CLIプロファイル簡単切り替え
- 20. 使用していないIAMロールを一括削除するシェルスクリプトを作成したけど、コンソールから削除した方がいいと思った件
Load data into Oracle DB from AWS S3
__Introduction__
In the previous article, I introduced how to load CSV/DUMP files into Oracle DB from OCI Object Storage. This method also applies to AWS S3 and Azure Blog.
https://qiita.com/liu-wei/items/00234fe82522f288ebff
This time, I will show you how to load CSV and DUMP files from AWS S3 to Oracle DB.
__Term of Use__
Oracle Database 19c beginning with 19.9 and 21c beginning with 21.3.
(Apply to both On-P and Cloud.)※ I use a DB19c
企業のデータ分析体制ってどうやって作るの？(マスキング処理と分析データ更新の自動化を実案件をふまえて解説)
## はじめに
どうも、27歳未経験からエンジニア転職を目指しているもきおです。
企業(データベース)のデータ分析ってどうやってやってんの？
エンジニアをこれから目指す方でこう言ったこと思ったことはないでしょうか？今回は実務案件を踏まえて企業のデータ分析体制ってどんな感じで作っているか、どういったことが分析において重要なのかを未経験の分際で解説してみたいと思います。
補足：この記事は実務案件の補足記事となりますので良ければそちらの記事もご覧ください
https://qiita.com/mokio/items/e19f90b126a1027cfec0
この記事では主にマスキング、定期実行処理に絞って記載しているので分析、可視化等の全体像をご覧になりたい方は上記リンク記事をご覧ください。
##こんな人に読んで欲しい
・企業のデータ分析ってどうやってるか知りたい方
・個人情報流出を防ぐのマスキング方法を知りたい方
・AWSサービスってコマンドで作成出来ることを感動を知りたい方
・Linuxコマンドの定期実行ってどうやってやるか知りたい方##データ分析体制を整える際重要なこと
S3アップロードをトリガーに画像をLambdaでDropbox Businessにアップロードする
[LambdaでS3にある画像をDropbox Businessにアップロードする](https://qiita.com/nkmk1215/items/95e2d97e5bb89a8b904a)を改修し、
トリガーをS3アップロードに変更したときの個人メモ[(参考)チュートリアル: Amazon S3 トリガーを使用して Lambda 関数を呼び出す](https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/with-s3-example.html)
—
# ソース修正
– 以下のようにソースを改修“`lambda_function.py
import os
import logging
import boto3
import urllib.parse
import base64
import requests
import json# ログ設定
logger = logging.getLogger(__name__)
logger.setLevel(os.environ[‘LOG_LEVEL’])# Dropbo
LambdaでDropboxのアクセストークンを取得する
LambdaでDropboxのアクセストークンを取得したときの個人メモ
[LambdaでS3にある画像をDropboxにアップロードする](https://qiita.com/nkmk1215/items/da11594807552db64e93)では
アクセストークンはコンソール画面から取得していた。
ただ、有効期間が4時間しかなく毎回手動で取得していたため処理に組み込んだ。—
# 認証コード取得
– App keyをコンソール画面から取得
– 以下URLにブラウザからアクセス
※`token_access_type=offline`を付与しない場合、
リフレッシュトークンが取得できない“`
https://www.dropbox.com/oauth2/authorize?client_id=（App
何となくわかった気になる週刊AWS – 2021/9/13週
## はじめに
こんにちは、なじむです。
昨日、ANS の試験を受けて無事に合格しました！数日は勉強を忘れてゆっくりしたいと思います。
というわけで今週も張り切ってやっていきましょう！AWS Japan さんがまとめている[週刊AWS](https://aws.amazon.com/jp/blogs/news/tag/%E9%80%B1%E5%88%8Aaws/)で確認した内容の自分用メモ。
今回は[9/13週](https://aws.amazon.com/jp/blogs/news/aws-weekly-20210913/)のアップデートです。## 9/13(月)
### [Contact Lens for Amazon Connect adds support は8言語に対するサポートを追加します](https://aws.amazon.com/jp/about-aws/whats-new/2021/09/contact-lens-amazon-connect-adds-languages/)
Contact Lens for Amazon Connect は、コンタク
[個人開発]自己満足なSNSアプリをリリースした記録
# はじめに
人生初の個人開発したiOSアプリをリリースすることができました！
開発期間は約1年半かかってしまいました。。。
原因として、仕事に余裕がある時は平日にも開発したりしてましたが基本的には、やる気がある週末に集中して作業してたりしてたので時間がかかりました。
途中、やる気が0になり実装中断時期もあったことを踏まえるとよく持ち直したという感じです。# リリースしたアプリ
アプリ名Clan(クラン)というゲームユーザーを探すためのSNSアプリを作りました。
https://apps.apple.com/jp/app/clan-%E3%82%AF%E3%83%A9%E3%83%B3/id1570006169## UI
画面はざっくりと以下のような感じです。|左からユーザー一覧画面 <-> プロフィール画面 <-> メッセージ画面|
|-|
|とは
Amazon MSKとはAWSが提供するApache Kafkaのマネージドサービスです。Apache KafkaのClusterをマネージドサービスとして提供しています。
brokerの数やKafkaのバージョン等を指定するだけで構築でき、マネージドサービスなので実行環境などを気にする必要がないというメリットもあります。
VPC内のサブネットを選択することで作製ができ、2つ以上のサブネットがないと構築できない為、デフォルトでマルチAZとなります。以下公式説明です。
> Amazon MSK は、Apache Kafka をストリーミングデータの処理に使用するアプリケーションを簡単に構築および実行できようにする完全マネージド型のサービスです。 Apache Kafka は、リアルタイムのストリーミングデータパイプラインおよびアプリケーションを構築するためのオープンソースプラットフォームです。Amazon MSK では、ネイティブ Apache Kafka API を使用し、デー
【AWS試験】50歳のおっさんがソリューションアーキテクト アソシエイト(SAA)を受けて合格した話
タイトルは自分が影響を受けた[記事](https://dev.classmethod.jp/articles/certified-saa-02-sales/)からいただいちゃいました。
# AWS認定資格を取得するキッカケ
AWS認定資格を取得するキッカケが2つありました。2021年春に仕事の守備範囲を会社に相談して変更してもらい、ストレスが減り新しいことにチャレンジしようと前向きな気持ちになったこと。それが4月のGW前のことで、時を同じくしてAWS社から[AWS Summit Online](https://aws.amazon.com/jp/events/summits/online/japan/)のご案内をいただきました。これまでこういったイベントに参加する気持ちの余裕がない日々でしたが、ふらっと初参加することにしました。
# AWS Summit Online 2021
いくつか参加したセッションの中に以下がありました。
> AWS-64
> 初学者向け AWS 学習パス ~まずはクラウドプラクティショナー認定資格から~
> アマゾン ウェブ サービス ジャパン株式会
AWS：EC2を使う
# 概要
EC2を立てて、ログインします## キーペアを作る
キーペアはEC2で立てたインスタンスにアクセスするために必要になります。要は秘密鍵ですね。
作成しないでEC2を立てても起動直前に作成できますが、場当たり的に用意すると管理的に良くないので項目を分けました。AWSマネジメントコンソールから`EC2`を選択
左側メニューから`ネットワーク & セキュリティ`->`キーペア`を選択して右上の`キーペアを作成`をクリック
下記を入力して右下の`キーペアを作成`をクリック
・キーペアの名前(任意)
・
AWS作業環境の構築
## 前置き
awscliでawsリソースをいじれる状態を作ります。
また、下記ページで自宅のwindowsPCの準備は完了している前提となります。https://qiita.com/yamanashi7474/items/27beedec3c954e965f44
## AWSアカウントの取得
無料で作成できます。### 初回ログインの注意点とアカウントIDの確認
ログインは`ルートユーザーの E メールを使用したサインイン`から入るログイン後、アカウントIDを確認しましょう
上部の黒いバーの右側にあるベルの右のrootユーザー名をクリックするとアカウントIDを確認できます。これをメモしてください。### ログインユーザーの作成
rootユーザーでも問題なく使用できますが、AWS マネジメントコンソールに毎回rootで入るのは商用ではやりません。作業用にアカウントを作成します。#### IAM
IAM(Identity and Access Management)はざっくり言えばユーザーとその権限周りを管理するコンポーネントです。IAMでログイン及び作業に使うユー
Ansible で Amazon Aurora の起動・停止
#はじめに
Ansible で Amazon Aurora をスナップショットを利用して起動・停止するサンプルです。
・Amazon Linux 2 にて検証#構成
“`
playbook
|– ansible.cfg
|– roles
|– aws
|– rds
|– defaults
|– main.yml
|– tasks
|– main.yml
|– dependency_install.yml
|– rds_start.yml
|– rds_stop.yml
“`#ansible.cfg
“`INI:ansible.cfg
[defaults]
interpreter_python = /usr/bin/python3
“`#変数
“`YAML:roles/aws/rds/defaults/main.ym
CloudFormationでパラメータ入力順を指定する方法
こんにちは、Masuyama です。
CloudFormation が大好きなので検証する時は大抵テンプレートからリソースを作成しているのですが、
いくつかパラメータを入力する時に思った通りの順番にならないことが地味に気になっていました。# パラメータ入力順を指定しない時
例を示します。下記のテンプレート内では以下 5 つのパラメータを上から指定しています。
1. EnvironmentName
2. VPCCIDR
3. PrivateSubnetCIDR
4. Ec2ImageId
5. Ec2InstanceType
6. KeyPair
“`
…
Parameters:
EnvironmentName:
Type: String
Default: xxxxxxxx-envVPCCIDR:
Type: String
Default: 10.3.0.0/16PrivateSubnetCIDR:
Type: String
Default: 10.3.0.0/24Ec2ImageId:
ECSのNetwork Mode awsvpcとbridgeとHostの比較
# 内容
https://ecsworkshop.com/ecs_networking/ にのっているNAT以外を日本語にしてまとめた -> https://docs.aws.amazon.com/AmazonECS/latest/bestpracticesguide/networking-networkmode.html あとで、ここにどのネットワークモードを選択するかの公式ページがあったが、こちらがわかりやすい。
1. awsvpc
1. bridge
1. host
1. none# [AWSVPC MODE](https://ecsworkshop.com/ecs_networking/awsvpc/)
– ENIを各タスクに割り振り、動的プライベートIPアドレスと内部DNS名を提供する <- コンテナネットワーク管理と操作を簡易化し、タスクがAWSのネットワーク機能を全て使うことができる - タスクのENIの管理は全てECSでされるので、コンソールから誤って消してしまうことを防いでいる - ECSは awsvpc ネットワークモードを推奨している 今回はAWSにpersonalizeで用いるロールの作成と、データの取り込みについて試して行きます。
##ロールを作成する
購入履歴のデータをPersonalizeに取り込むためにS3を利用します。Personalizeに対してS3にアクセスする許可を与えるためにロールを作成します。以下はロールを作成するプログラムの全体です。
“`pers_create_role.py
import boto3
import jsoniam = boto3.client(‘iam’)
role_json = {
“Version”: “2012-10-17”,
“Statement”: [
{
terraformのstate管理用にdynamodbとs3をプロビジョニングする
## どんな記事か
terraformのtfstate管理用のリソースを作成するのと格闘している記事です。
（まだ手探りでやっているので、こちらよりも公式ドキュメントを参照したほうがいいかもしれません）## 参考
こちらを参考にさせていただきました、ありがとうございました。
https://takelg.com/terraform-tfstate_manage/
## tfstate管理用のリソース作成
ディレクトリ構成は以下のようになっています。
“`
tfstate-management git:(feature/terraform) ✗ tree
.
├── backend.tf
├── provider.tf
└── variable.tf
“`リソースを`backend.tf`に書きます。
“`tfstate-management/backend.tf
resource “aws_s3_bucket” “terraform-xxx-remote-state” {
bucket = var.s3_bucket_namelifec
Windows Server 2022 のTCPパフォーマンス向上について，実機計測してみた
# はじめに
2021年9月1日に WindowsServer2022 がリリースされました．
いくつか新機能がリリースされていますが，今回は「TCPパフォーマンスの向上」について，検証していきたいと思います．# Windows2022変更点の概要
[Windows Server 2022 の新機能](https://docs.microsoft.com/ja-jp/windows-server/get-started/whats-new-in-windows-server-2022)
上記でも紹介されていますが，サーバサイドの変更点は下記3つが大きいと思います．– HTTPS と TLS 1.3を既定で有効化
– Microsoft Edge ブラウザーの追加
– TCPとUDPのパフォーマンス向上TCPパフォーマンスの向上には [HyStart++](https://datatracker.ietf.org/doc/html/draft-ietf-tcpm-hystartplusplus-00)というMS製技術が採用されています．
また，UDPについても[UDP
fzfを用いてAWS CLIプロファイル簡単切り替え
# 簡単に aws cli のプロファイルを変更したい
表題の件について調べたところ、該当する npm パッケージを発見。
https://github.com/johnnyopao/awspしかし当方の`node v14`環境で正常に動作しなかったので、fzf で関数自作しました。
## fzf
fzf とは、cli 上でのあいまい検索および結果選択が可能になる、GO 製の CLI ツールです。
peco とよく比較されます。
詳細は以下記事等参照
https://qiita.com/kamykn/items/aa9920f07487559c0c7e### fzf のインストール
“`bash
$ git clone –depth 1 https://github.com/junegunn/fzf.git ~/.fzf
$ ~/.fzf/install
“`## シェル設定ファイルに関数追加
`~/.aws/config`を参照して、profile 一覧を取得し、その中からプロファイルを fzf で選択する、という挙動の関数を作成します。
`.bashr
使用していないIAMロールを一括削除するシェルスクリプトを作成したけど、コンソールから削除した方がいいと思った件
# スクリプト作成の背景
AWSの個人アカウントで不要なIAMロールが増えてきたので、IAMロールの整理を考えたのが切っ掛けです。
コンソールからでも一括削除はできますが、数が増えた場合でも楽に削除できるようにしたいと思い作りました。AWS SDKの方が楽にできそうだと思いましたが、長めのシェルスクリプトを書いたことがなかったのでチャレンジしてみました。
# コンソールから削除した方がいいと思った理由
長期間使用していないけど必要なIAMロール（*）があると思いますが、その調査をするのにコンソールを使用することが多いと思うので、それならコンソールからIAMロールを一括削除した方が早いのでは？と思った次第です。
必要なIAMロールが存在しない（削除しても深刻な問題にならない）私的アカウント等であれば、スクリプトを使用して削除していいと思います。
*機会がなくて使用されていないIAMロールのことで、Configルール違反時の自動修復で利用されるロールや、EventBridgeルールのターゲットであるLambdaのロールなどが当たります。
違反時やイベント発生時にはそのロールが
