- 1. Go言語で構造体データをファイルに書き出し/読み込みをする方法メモ
- 2. S3にオブジェクトをアップロードして引数をlambdaに送りたいとき
- 3. ECSへ移行したらマシンリソースを使い果たした問題がnet/httpのhttp.Transportの使い方の誤りにあった話
- 4. DockerでGo言語開発環境を構築してツールを作成する
- 5. [memo][Go] go test の coverage 出力方法
- 6. [memo][Go] go run main.go の際に標準入力を渡すコマンド
- 7. [memo][Go] 標準入力のテストコード
- 8. Go初見が1週間でWebアプリ開発できるか ー3日目ー
- 9. ホスト(macos)からdocker上のredis sentinelに接続
- 10. OS system command Run … / Ruby case / Python case / golang case / Nim case
- 11. Golang / React / PostgreSQLのホットリロードできる開発環境をDockerで作ってみた
- 12. Go初見が1週間でWebアプリ開発できるか ー2日目ー
- 13. Go言語(Golang)のチートシート 型、演算子、エスケープシーケンスまとめ
- 14. 【Golang】テスト実行中にメッセージを表示させる【テストの進捗表示】
- 15. 【Golang】改行などをエスケープして表示したい。【代入済み変数の文字列をエスケープ出力】
- 16. 16進数、バイナリ、base64の相互変換をCLIとGo(Golang)でやる
- 17. AWS SNS/SQSによるメッセージ送受信のサンプル(Go言語)
- 18. Go初見が1週間でWebアプリ開発できるか ー1日目ー
- 19. ISUCON11予選参加でubuntu、nginx、mysqlの知識がほぼ0の人がインフラ担当をやろうとした話
- 20. Goでゲーム用マップを自動生成してみる
Go言語で構造体データをファイルに書き出し/読み込みをする方法メモ
# はじめに
## やりたいこと
Goのプログラム内で作成した構造体のデータをバイナリにシリアライズし、ファイルに保存します。
そしてプログラムを次回実行したときには、そのファイルを読み込んでデシリアライズし、構造体のデータをメモリに乗せます。丁度、Pythonであれば[pickle](https://docs.python.org/3/library/pickle.html)で出来るようなことを、Goで実行する方法のメモです。
# コード
## 概要
Goの標準ライブラリである[gob](https://pkg.go.dev/encoding/gob)を用います。
`Encoder`というクラスで構造体データをバイナリにシリアライズし、`Decoder`というクラスでそれをデシリアライズします。※サンプルコードからは、例外処理を省いています。
## 書き込み
“`go
import (
“encoding/gob”
)// 今回保存したいデータ
var stageTiles [screenLength][screenLength]tileInfo
type tileI
S3にオブジェクトをアップロードして引数をlambdaに送りたいとき
今まではS3をトリガーにLambdaを発火させていたのですが、これだと追加の変数を設定することができず、どうすればいいか悩んでいたときに、InvokeInputに渡せばいいことを知りました。
## 参考
https://qiita.com/yukpiz/items/269277a97053237a6980
## go server側
S3にアップロードしたあとに、invokeして変数を渡すようにしました。
“`main.go
package mainimport (
“encoding/json”
“fmt”“github.com/aws/aws-sdk-go/aws”
“github.com/aws/aws-sdk-go/aws/session”
“github.com/aws/aws-sdk-go/service/lambda”
)// これはLambda関数の完了で返すための構造体定義
type Response struct {
Message string `json:”message”`
Ok bool `json:”ok
ECSへ移行したらマシンリソースを使い果たした問題がnet/httpのhttp.Transportの使い方の誤りにあった話
# はじめに
はじめまして。Kyashでサーバサイドエンジニアを担当しているhirobeです。
[ブログ記事発信](https://blog.kyash.co/entry/2021/07/27/203922)の一環として書かせていただきます。Kyashでは、約30ほどのマイクロサービスが動いてます。
そのなかで比較的新しいサービスについては開発環境、本番環境ともにAWSのECS(AWSのコンテナオーケストレーションサービス)を利用していますが、数年前から存在するような古いサービスはいまだにEC2で動いているものも多く、それらはECSに移行しつつあります。
検証環境において、あるマイクロサービスをEC2からECSへ移行したところ、接続元のサービスのマシンリソースを使い果たしサービスがかなり不安定になる問題が発生しました。
当初はアプリケーションのコード修正に問題があると皆で調査していたのですが、リソースを使うようなコード修正もありませんでした。半ばあきらめかけていたのですが、偶然私がGoのnet/httpのソースコードを以前から読んでおり[^1]処理の概要を把握していたので、
DockerでGo言語開発環境を構築してツールを作成する
## はじめに
* 社内で利用する簡単なツールを作りたい
* dockerで環境構築すればどの言語でも作れはするが、実行するのは社内環境なので同様の環境を構築しなくてはいけない
* どうせ誰も管理しないし作りっぱなしでいいんじゃないか・・・？
* そもそも自分しか使わないのにそこまで構築に時間をかける必要があるのか・・・？## 利用技術
* docker
* Go言語## Go言語について
* Googleが開発した言語
* 実行速度・コンパイルが速い
* 調べればいくらでも出てくるので調べてください## なんでGo言語なのか
* 楽しくプログラミングしてほしいという理念に基づいて開発されているらしいので
* どうせやるならやったことない言語を触ってみたいとは思うので## dockerで開発環境構築する必要ある・・・？
* ないです
* 今回のテーマがコンテナだったのでそれに絡めるためにです
* dockerの開発にも使われてるのでという逃げ方でも良かったかもしれないですね・・・## 環境構築
* DockerFileにgoのイメージを利用するように書いてdocek
[memo][Go] go test の coverage 出力方法
“`go
go test -cover -coverprofile=cover.out
go tool cover -html=cover.out
“`とすると
“`
no required module provides package .out; to add it:
go get .out
“`エラーになった。
.outをとってみる。“`go
go test -cover -coverprofile=cover
go tool cover -html=cover
“`
いけた。
[memo][Go] go run main.go の際に標準入力を渡すコマンド
次のような標準入力を渡すとすると
“`
3
8 12 40
“`こんな感じ
“`
echo 3 8 12 40 | go run main.go
“`改行を入力する方法はわかりません。
[memo][Go] 標準入力のテストコード
### ソースコード
“`go:main.go
package mainimport (
“bufio”
“fmt”
“io”
“os”
)func main() {
fmt.Println(Scan(os.Stdin))
}func Scan(r io.Reader) string {
sc := bufio.NewScanner(r)
sc.Scan()
return sc.Text()
}
“`“`go:main_test.go
package mainimport (
“bytes”
“testing”
)func TestScan(t *testing.T) {
expect := “test”
input := bytes.NewBufferString(expect)
// input := strings.NewReader(“123\n456”) これでもよいactual := Scan(input)
if expect != actual {
t.Errorf(“case3 exp
Go初見が1週間でWebアプリ開発できるか ー3日目ー
今までAPIサーバーとしてNode.jsを用いていましたが、最近話題のGoを使ってみたいと思い、Go初見の状態から1週間でWebアプリを開発できるのかをチャレンジします。
フロントで使うReact,TypeScriptは今まで開発経験があります。3日目の日記
今日は今回DBとして使うFirebaseの作成とGoに初めて触れる。# Firebaseの作成
プロジェクトの設定のサービスアカウントから「新しい秘密鍵の生成」を押して、`serviceAccountKey.json` を取得。
これは、APIサーバーでCloud Firestoreを操作する際に必要になる。ちなみにAdmin SDK構成スニペットも後で必要。からdocker上のredis sentinelに接続
# Overview
docker上にテスト用のredis sentinelを動かして、ホスト上で動いているプログラムから接続する# Problem
`sentinel get-master-addr-by-name `で返却されるマスタのIPはdocker環境上のIPなので、ホストからは繋げない。# 解決
– hostモードで動かす => macosは対応していない？後日ドキュメント確認
– lo0にループバックアドレスにエイリアスを追加 => 暫定対応# エイリアス追加
“`
sudo ifconfig lo0 alias ${DOCKER_SUBNET}
“`# テスト
“`go
package mainimport (
“context”
“fmt”“github.com/go-redis/redis/v8”
)func main() {
opt := redis.FailoverOptions{}
opt.MasterName = “master”
opt.SentinelAddrs = []string{“127.0.0.1:2
OS system command Run … / Ruby case / Python case / golang case / Nim case
## Ruby
“`ruby:oscommand.rb
current = “test”
system(“ls”)
system(“mkdir” ,”./#{current}”)
#system(“rm” , “-r”, “./#{current}”)
“`“`terminal
> ruby oscommand.ruby
“`## Python
“`python:oscommand.py
import ‘os’os.system(“ls”)
os.system(“mkdir ./test”)
#os.system(“rm -r ./test”)
“`“`terminal
> python oscommand.py
“`## golang
“`golang:oscommand.go
package mainimport (
“log”
“os/exec”
)func main(){
title := “test”
cmd := exec.Command(“zip”,”-4″, title + “.zip”
Golang / React / PostgreSQLのホットリロードできる開発環境をDockerで作ってみた
#構成
– バックエンド: Golang
– フロントエンド: React(TypeScript) + Tailwind CSS
– DB: PostgreSQL#なぜ作ろうと思ったのか
開発中に、バックエンド、フロントエンド、データベースを起動、再起動の管理を各々するのが億劫になったので、どうせならdockerで統一してしまおうというのが作ろうとしたのがきっかけです。#docker-compose
“`
version: “3.7”services:
front:
container_name: front
build:
context: ./front
dockerfile: Dockerfile
ports:
– 3000:3000
working_dir: /src
volumes:
– ./front:/src
env_file:
– ./front/.env
tty: true
stdin_open: trueapi:
Go初見が1週間でWebアプリ開発できるか ー2日目ー
今までAPIサーバーとしてNode.jsを用いていましたが、最近話題のGoを使ってみたいと思い、Go初見の状態から1週間でWebアプリを開発できるのかをチャレンジします。
フロントで使うReact, TypeScriptは今まで開発経験があります。2日目の日記です。
今日はフロントを大まかに完成させたい。# フロント開発
## 開発していく上で気になったこと
### React.FC
TypeScriptも最近使い始めたばかりなので、気になることを調べた。
以前 React.FC というものを聞いたことがあったので使ったほうがいいのか調べた。https://de-milestones.com/typescriptreact-fc/
https://qiita.com/sangotaro/items/3ea63110517a1b66745b
調べた結果、React.FCは使わないことにした。
### React.createContext
Go言語(Golang)のチートシート 型、演算子、エスケープシーケンスまとめ
Go言語の型、演算子、エスケープシーケンスをまとめました。
##組込み型一覧
###符号あり整数
|型名 |概要 |
|—|—|—|
|**基本型**||
|string|文字列。「”」で囲んで表現する。|
|bool|真偽値(true/false)|
|**nビット符号あり整数**||
|int8|-128~127|
|int16|-32,768~32,767|
|int32|-2,147,483,648~2,147,483,647(約-21億~21億)|
|int64|-9,223,372,036,854,775,808~9,223,372,036,854,775,807(約-922京~922京)|
|int|システム依存サイズの符号あり整数。32ビットシステムなら32ビットだが、int32やruneとの互換性はない(代入できない)。|
|rune|32ビット符号あり整数(int32のエイリアス)。Unicodeの1文字を格納する。「’」で囲んで表現する。runeは文字の意。|
|**nビット符号なし整数**||
|uint8|0~255|
|uint8|0~65
【Golang】テスト実行中にメッセージを表示させる【テストの進捗表示】
> テスト中、API などのリクエスト過多を防ぐために `Sleep` させたり、重い処理が始まったなど、**テスト実行中に、その旨をユーザに知らせたい**。
:::note info
「”golang” テスト中にメッセージを表示させる」でググっても、ピンポイントで見つからないので自分のググラビリティとして。
:::## TL; DR （今北産業）
1. 重い処理や `Sleep` 実行前に `t.Log()` す
【Golang】改行などをエスケープして表示したい。【代入済み変数の文字列をエスケープ出力】
> 改行やタブ入りの文字列の変数をプリントする際に、改行させずにエスケープして表示させたい。
:::note info
「”golang” 文字列 改行をエスケープして表示」でググるも、初歩的するぎるため、逆の（タブや改行をエスケープして変数にセットし、出力時にパースする）方法や、あっても代入時に`（バッククォート）を使う方法ばかり。すでに代入済みの変数を展開せずにエスケープしたまま出力したいのです。
タイトルからピンポイントの記事がすぐに見つからなかったので、自分のググラビリティとして。
16進数、バイナリ、base64の相互変換をCLIとGo(Golang)でやる
要はこれをやるのだ（相互変換）
“`plaintext
hexadecimal
↓ ↑
binary
↓ ↑
base64
“`# CLIでやる
まず 16進数 to base64
“`bash
echo “0123456789abcdef” | xxd -r -p | base64 # ASNFZ4mrze8=
“`base64 to 16進数
“`bash
echo “ASNFZ4mrze8=” | base64 -d | hexdump # 0000000 01 23 45 67 89 ab cd ef
“`# Golangでやる
“`Go
package mainimport (
“encoding/base64”
“encoding/hex”
“fmt”
)func main() {
hexStr := “0123456789abcdef”// hexadecimal string -> byte -> base64 string
b64Str, _ := hexToBase6
AWS SNS/SQSによるメッセージ送受信のサンプル(Go言語)
## 前準備
1. SNSのトピックを作る
– 名前は適当
– タイプは標準
– 他はすべてデフォルト値でOK。
1. SQSのキューを作る。名前は適当、他は
– 名前は適当
– タイプは標準
– 他はすべてデフォルト値でOK。
1. SQSを作ったら、そのSNSサブスクリプションに最初に作ったSNSを追加する## SNSでメッセージを送信
“`go
package mainimport (
“flag”
“fmt”
“github.com/aws/aws-sdk-go/aws/session”
“github.com/aws/aws-sdk-go/service/sns”
“os”
)func main() {
profile := flag.String(“p”, “”, “AWSの認証に使うProfile。未指定ならdefault”)
msgPtr := flag.String(“m”, “”, “The message to send to the subscribed users of the topic”)
topi
Go初見が1週間でWebアプリ開発できるか ー1日目ー
今までAPIサーバーとしてNode.jsを用いていましたが、最近話題のGoを使ってみたいと思い、Go初見の状態から1週間でWebアプリを開発できるのかをチャレンジします。
他の使用言語は今まで開発経験があります。1日ごとにやったことを日記のように書き連ねていきます。
# アプリ仕様書作成
## アプリで解決したい課題
– 就活のとき自己分析が面倒
– 自分のことがよくわからない## アプリ名
My Google## コンセプト
ほぼGoogleだけで作る自分だけのGoogle## アプリ概要
My Googleは自分について検索できる自分の趣味、好きな食べ物、好きなもの、嫌いなこと、将来やりたいことなど**自分について**を蓄積し、My Googleを賢くする
自分について知りたいことがあればMy Googleで検索しよう
## 開発環境＆言語
### フロントエンド
React, TypeScript（node v12.14.1)
### バックエンド
APIサーバー：Go（go version go1.17 windows/amd64）
DB：Fire
ISUCON11予選参加でubuntu、nginx、mysqlの知識がほぼ0の人がインフラ担当をやろうとした話
## ISUCON11に参加してきました
会社の同僚2人とISUCON11に参加したので雑記
普段全くインフラを触らず、ubuntu、nginx、mysqlの知識もないけどインフラやるぞ、となった人がどういう所でつまづくのかが書いてあるかも## 当日まで
* ISUCON9予選をまっさらなubuntuでbench叩ける状態にした
* appとdbのサーバーを分けられるようにした
* 計測に必要そうなツールを調べておいた
* nginx.confとmysql.confの辺りは少し見ておいた## 当日の自分の動き方
* みんなで[予選当日マニュアル](https://gist.github.com/ockie1729/53589a0e8c979198b6231d8599153c70)と[アプリケーションマニュアル](https://gist.github.com/ockie1729/fcb41ade9cb9d2166dd3f53e5179e8a9)の読み合わせをしつつAWSにインスタンスを立てる
* trelloにあらかじめ作っておいたTODOリストを確認し誰がどれをやるを
Goでゲーム用マップを自動生成してみる
# はじめに
## 概要
Go言語を用いて、ゲーム用のマップの自動生成のプログラムを書いてみます。
本記事では、マップ生成のロジックに当たる部分をメインに記述するため、使用するライブラリ固有の機能やインターフェース等に関する記述は省くこともあります。
そのため全体的なコードは、[GitHubのリポジトリ](https://github.com/KMimura/ColonyGame)を参照してください。
## 使用するライブラリ
[Engo](https://engoengine.github.io/)というGo言語のゲーム作成用ライブラリを用います。
このライブラリは、自分は以前[別の記事](https://qiita.com/KMim/items/aebb9d7a9116bf6294b3)でも用いたものです。
また、記事中のコードで使用している素材画像は、[こちら](https://github.com/KMimura/ColonyGame/blob/master/assets/pics/overworld_tileset_grass.png)です。
# コード
## 単純な地面の生
