Go関連のことを調べてみた2022年01月20日

GO言語 – unzip処理の脆弱性対策(ついでにwindows, macで作られるzipファイルのサポート)

GO言語でのunzip処理は `archive/zip` パッケージを用いれば実装可能ですが、実装をしてみればいくつかのつまづきポイントがあったため本記事に備忘録も兼ねて記しておきます。
つまづきポイントとしては

– Windowsで圧縮された日本語名のファイル対応(Shift JIS)
– macOS特有のファイル除去
– 脆弱性Zip Slipの対策 (←一番話したいこと)

などでした。

本当は上二つの記事を書くつもりでしたが、実装する内に脆弱性の勉強する機会に巡り合ったため脆弱性の話重めで書こうと思います。

参考したunzipのコード : https://golangcode.com/unzip-files-in-go/

## コード全文

“`go
package main

import (
“archive/zip”
“fmt”
“io”
“os”
“path/filepath”
“strings”
“unicode/utf8”

“golang.org/x/text/encoding/japanese”
“golang.org/x/text

Goアウトプット #01

# 多重代入

“`go
var a, b, c int
a, b, c = 10, 20, 30
“`
または

“`go
a, b, c := 10, 20, 30
“`

# 同じ型の複数宣言
– 初期化した値はゼロ値と呼ばれる。
※数値の場合は0

“`go
func main() {
var (
x int = 100
y int = 300
z int
)
// zは初期化されているだけなので、0になる

fmt.Println(“x + y + z =”, x+y+z)
}

// -> 400
“`

## iota識別子
– 連続した整数型整数を表現することができる
※変数でやったらエラーでた。←定数宣言でしか使えないから、そりゃそう。

“`go
func main() {
const (
x = iota
y
z
)
fmt.Println(x, y, z)
}

// -> 0 1 2
“`
“`go
func main() {
const (
x = 1
y = iota

golangのinterface

# interface がよくわからん

interface を[英和辞典][1]で調べると**境界面、接点、共通の問題**と出てくる。
[コンピューター用語辞典][1]によると

> インタフェースは,実装についての情報をもたないメソッドの集合の宣言とする.
> インタフェース及び継承をサポートするオブジェクトシステムでは,
> インタフェースは,一般に他のインタフェースから継承できる

ここからはコードを用いて go のコードを使いながら interface の理解を進める。

## interface のメソッドを満たしていれば異なる構造体でも interface に代入できる。
### 1

“`go:main.go
type Hoge interface {
FuncA()
FuncB()
}

type Foo struct {
x string
y int
z bool
}
“`

上記のコードの Hoge インターフェイスは FuncA、FuncB という関数を持った集合体 = メソッドの集合体
実装部分は Foo が担っている。
実装：

【Gorm✕firestoreで構造体の大文字が変換されない対処法】

Gormからfirestoreにデータを保存する際、タグをつけなければ構造体の大文字のままキーが設定されてしまったので、対処法を記述する。

単純に、`firestore:”name”` のようなタグを構造体に付与すればいい。

“`json
type User struct {
Name string `json:”name” firestore:”name”`
Email string `json:”email” firestore:”email”`
}
“`

ドキュメントしっかり読もう。

https://pkg.go.dev/cloud.google.com/go/firestore#example-DocumentRef.Create-Struct

BudouX を Go と Rust で使えるようにした

少し前に [BudouX](https://github.com/google/budoux) というライブラリが公開されました。

日本語改行問題を解消するための新しいライブラリ、BudouX をリリースしました。
JavaScript / Python で動きます。機械学習モデルを含めても小さい（15KB くらい）ので、クライアントサイドでも動きます。荒削りなところもありますが、使ってみていただけると嬉しいです。https://t.co/3xsKESmQfn

— Shuhei Iitsuka (@tushuhei) November 18, 2021

日本語の文章を与えると適切な改行位置を推測してくれるライブラリで、 Python と JavaScript に対応しています。

これを Go で使いたい！
と、思って移植しました。

https://github.com/sg0hsmt/budoux-go

ついでに Rust にも移植しました。

https://github.com/sg0hsmt/budoux-rs

この記事では移植したライブラリについて軽く紹介したいと思います。
(使い方とかは README を読んだほうが早いかもしれません)

## 本家 BudouX の中身

オリジナルの BudouX は次の要素で構成されています。

– 機械学習モデルを訓練するための Python スクリプト
– JSON 形式の学習済み機械学習モデル (約 10 KB)
– 機械学習モ

golangでインタプリンタを作る

# 概略

今回、go 言語でインタプリンタを作ろうと思った経緯は、筆者は半年ばかり独学で python の勉強をしてきたが、よりプログラミングの理解をより深めるために自作しようと思い立った。
go 言語を選んだ理由としては、静的型付け言語を触りたかったのと、なんとなく流行っているからである。
この記事は[Go で作るインタプリンタ][1]を参考に進めていく。
本記事は、第一章を読み終えたのでこちらにまとめを書く。

# 第一章、 字句解析

## 字句解析とは

ソースコードからトークン列に変換することを「字句解析」という

“`
let x = 5 + 5;
“`

上記の図のように token 列を生成する

## 字句解析器

1. token の定義

“`go:token.go
type Token struct {
T

【Go】APIサーバの構築 ~GraphQL編~

#はじめに
APIサーバにGraphQLを導入してみたのでメモを残します。

https://qiita.com/suzuki0430/items/f4396a337209cd1e37b7

https://qiita.com/suzuki0430/items/3eacf2329e0ce85d23d7

https://qiita.com/suzuki0430/items/f8308db9220c7bf19fa2

コード全文は以下です。

https://github.com/suzuki0430/backend-go-movies

#GraphQL
どこにでも書いてある情報ですが、GraphQLの導入メリットには以下のようなものがあります。

– エンドポイントが1つでOK(RESTのようなエンドポイントの肥大化を防げる)
– クエリを用いて必要なデータのみを取ってくることができる(無駄な通信帯域を消費しない)
– データ型の定義がされていて、クライアント-サーバ間の食い違いを防げる

他にもGraphQL関連の記事を書いているので、もし興味があればご覧ください。

https:

goroutineで並行処理のメモ

goroutineを使ったときのメモです。

### channelで待ち合わせせずgoroutineを使う場合の注意

mainのgoroutineが終了すると、他のgoroutineが走っていてもプログラムは終了してしまうので注意しよう。待ち合わせをしたい場合はchannelを使う。

“`main.go
package main

import (
“fmt”
“time”
)

func main() {
go func() {
fmt.Println(“start goroutine”)
time.Sleep(3 * time.Second)
}()

// time.Sleep(4 * time.Second)
fmt.Println(“finished”)
}

“`

上記のコードを走らせた場合は以下のようになり、goroutineがそもそも開始されていないことがわかる。

“`
$ go run main.go
finished
“`

### channelを使って待ち合わせした場合

“`main.go
package main

【Go(Gin)✕Docker✕delve✕vsCodeでデバッグできるようにする最小構成】

## ディレクトリ構成

Goアプリケーションはapplicationディレクトリ以下にある。
*（アスタリスク）で囲んでいるファイルがポイント。

“`docker
.
├── .vscode
│   └── **launch.json**
├── README.md
├── application
│   ├── **Dockerfile**
│   ├── controllers
│   ├── db
│   ├── go.mod
│   ├── go.sum
│   ├── main.go
│   ├── models
│   ├── server
│   ├── services
│   ├── **start.sh**
│   ├── tests
│   ├── tmp
│   └── vendor
├── **docker-compose.yml**
└── tmp
“`

## docker-compose

– 8080:8080はもともとあったアプリケーション用のport。

– 2345:2345をデバッガ用のportとして追記。

“`docker
ver

GOLANDでGOプロジェクトをインストールしたら最初にやる設定

1.Go Modulesを有効にする
Go Modules=>Enable GO Modules integrationにチェック


2.ルートディレクトリにモジュール群をインストール

“`
cd paht/to/root-dir
go mod vendor
“`

これでコードジャンプも効くようになる。

GolangでS3からZipダウンロードする時の中身のタイムスタンプの設定

## 概要

S3にあるファイルを一つにまとめてZipダウンロードする際の中身のファイルのタイムスタンプを引き継ぐ方法について解説する。

## zip化の流れ

1. tmpフォルダにzipファイルを配備する
1. S3から該当ファイルを複数取得する
1. 取得したファイルをZipファイルに書き込む **<- この中身のタイムスタンプの設定** 1. zipファイルをS3にアップロードする 1. tmpフォルダのzipファイルを削除し、S３へのzipパスを返却する ## 対象モジュール archive/zip ※標準パッケージ ## Goのバージョン 1.17.2 ## zip内のファイルの更新日時が1979/11/30になってしまう zip書き込みを以下のようにそのまま実施してしまうとS3に登録した更新日時が適用されずに1979/11/30になってしまう問題がある。[参考記事](https://stackoverflow.com/questions/37517620/golang-zip-package-modified-time-defaults-to-30-no

[Docker]/bin/sh: /go/bin/dlv: not found

## 記事を書いた経緯

タイトル通りGoAPIのdocker-compose上で`/bin/sh: /go/bin/dlv: not found`というエラーが発生してしまったので
その解決策をメモしておきたいと思います。

## 原因
mainブランチを更新した時にDockerfileに

“`Dockerfile.dev
RUN go install github.com/go-delve/delve/cmd/dlv@latest
“`
というのか追加されました。

しかし、いつも通り

“`
$ docker-compose down
$ docker-compose up
“`
をしましたが、
Airが正常に動作しませんでした。

## 解決策

“`
$ docker-comp

C++,C#のコメントアウトテクニック

# 概要
下記のような記載が出来る言語で使えるコメントアウトのTips

[使える言語の参照](https://qiita.com/power3812/items/d8fc76f551970085e189)

“`main.cpp
// 1行コメント
/*
複数行コメント
複数行コメント
*/
“`

# 内容
複数行コメントを1文字で切り替える
先頭の**スラッシュ(/)**を消すと切り替えれる

“`main.cpp
//*
現在の
複数行コメントは
コメントアウトされない
//*/

/*
現在の
複数行コメントは
コメントアウトされる
//*/
“`

機能の切り替えを1文字で切り替える
上記のIF版で
先頭の**スラッシュ(/)**を消すと切り替えれる

“`main.cpp
//*
Active Block
/*/
Disable Block
//*/

/*
Disable Block
/*/
Active Block
//*/
“`

# まとめ
C++er には多少有名なのでN番煎じではあるもののいろいろな言語で使えるので書いてみました。

C++では#i

Go製 markdown driven な code generator 作った

https://github.com/igtm/manaita

markdownで生成テンプレを記述すると、Github上などで見れるので、どのようなコードが生成されるのかが直感的にわかりやすくなります

Go製のライブラリは探しても見つからなかったのでさくっと作ってみました。

# 使い方

`SCAFFOLD.md` に以下のようなテンプレを書く

—
Params:
– name
—

# foo.go

“`
package foo

import “fmt”

func Foo() {
// 引数で渡したパラメタが使える ‘-p name=George’
fmt.Println(“name”, “{{.Params.name}}”)
// 環境変数も使える
fmt.Println(“BAR”, “{{.Env.BAR}}”)
}
“`

`SCAFFOLD.md` と同じディレクトリでコマンド実行

“`shell
manaita –

【Go】APIサーバの構築 ~ログイン処理と操作権限の付加編~

#はじめに
APIサーバ構築の続きです。
JWTトークンを使って、ログインなどの認証まわりの処理を実装してみました。

https://qiita.com/suzuki0430/items/f4396a337209cd1e37b7

https://qiita.com/suzuki0430/items/3eacf2329e0ce85d23d7

#実装
ログイン処理と特定のリクエストへの操作権限の付与について実装します。

実装にあたって、属性情報(Claim)をJSONデータ構造で表現したトークンの仕様であるJWTを使用します。
JWTはヘッダー(Header).内容(Payload).署名(Signature)で構成されており、Claimは内容(Payload)に使われる情報の一部です。

##ログイン処理
クライアント側でログインを行うために、`routes.go`に以下のルートハンドラーを追加します。

“`go:routes.go
router.HandlerFunc(http.MethodPost, “/v1/signin”, app.Signin)
“`

`Sign

VSCodeで複数のmain.goを開くとgoplsのwarningが出る

# 問題

1つのルートディレクトリ(プロジェクト)下に複数のgo module、つまり`main.go`が存在すると、goplsがwarningを出してしまいます。


個人的に`1ルートディレクトリ`=`複数のサンプルコード`の構成を崩したくないので調べてみました。

# 解決法
以下の設定を追加するだけで無事解消しました?

“`settings.json
“gopls”: {
“experimentalWorkspaceModule”: true
}
“`

※ 試験的なオプションなので動作しなくなる可能性があります

# 詳細
https://github.com/golang/tools/blob/master/gopls/doc/workspace.md#multiple-modules

を読む

【Goのデバッガーdelveを使えるようにするまでの苦労・プロセス】

## デバッガを扱う前にGoのmodule関連でつまづいた

go get で `dlv`をinstallしたらビルド時にエラーが出た。

“`yaml
go: inconsistent vendoring in /go/src/app/xxxx:
github.com/go-delve/delve@v1.8.0: is explicitly required in go.mod, but not marked as explicit in vendor/modules.txt
golang.org/x/sys@v0.0.0-xxxxxxxx: is marked as explicit in vendor/modules.txt, but not explicitly required in go.mod
To ignore the vendor directory, use -mod=readonly or -mod=mod.
To sync the vendor directory, run:
go mod vendor
“`

> go: /go/src/app/xxxx

Goの良さを語りたい

一言で言うなら「はやく作って はやく改（なお）せる」のが Go 最大のメリット
Googleが開発した言語、流行らないわけがない…！（個人的感想)

もちろん苦手な領域もある
→ https://zenn.dev/nobonobo/articles/3f5310248567a1

> ◆Go入門(基礎の基礎)
https://zenn.dev/ak/articles/1fb628d82ed79b

> ◆初心者がGoで気を付けること
https://zenn.dev/nobonobo/articles/e0af4e8afc6c38b42ae1

ネイティブコード出力で実行効率が良い
コードの可読性を重視している
開発でよく使うツールがバンドル
クロスビルドが簡単にできる
コンパイルが遅くない（LLライクにrunできる）
並行処理の抽象化を組み込み言語仕様にもつ
メモリ安全である

各解説は以下で
https://zenn.dev/nobonobo/articles/e651c66a15aaed657d6e

#シンプルさがGo言語が成功に至った本質的な理由
少なくとも既存の

Go言語について

#目次

1　Go言語の概要
2　Go言語の特色
3　Go言語で開発されているもの
4　まとめ
#Go言語の概要
Go言語は2009年にGoogleが開発したオープンソースのプログラミング言語である。
開発にはC言語の設計者やUNIXの開発者等の人物がかかわっている。
また、初期はLinuxとMac OSのサポートだったが、2013年にリリースされたバージョン1.0からはWindowsにも対応するようになった。
#Go言語の特色
Go言語はシンプルで高い信頼性をもつ効率的なソフトウェアを構築できる言語とされている。
Go言語はシンプルな構文のため、ほかの人が読んでも分かりやすいプログラミングを書きやすい。
また、高速な処理や並列処理が可能なため作業効率を上げることができる。
しかしGo言語はシンプル性を高めるために機能が最小限に抑えられており「例外処理」、「Generics」、「継承」等の機能が無いというデメリットも存在する。
#Go言語で開発されているもの
Go言語は主にスマートフォンアプリの開発、ドローンやロボットの組み込み開発、Webサービス、Webサーバーの構築等に使われている

DockerでSFTPサーバ立ててGoでアクセスしてみる

# 最初に
GoのSFTPパッケージ触りたかったけど、サーバ立てるのも面倒だったのでコンテナでサクッとやっちゃおうと思ったメモ

## SFTPサーバ立てるメモ
[atmoz/sftp](https://github.com/atmoz/sftp)を使って

“`yaml:docker-compose.yml
version: ‘3’

services:
sftp:
image: atmoz/sftp
container_name: sftp-server
volumes:
– ./sftp-server/upload:/home/foo/upload
ports:
– “2222:22″
command: foo:pass:::upload
“`
な感じでyaml用意して

“`
mkdir sftp-server
mkdir sftp-server/upload
docker-compose up -d –build
sftp -oPort=”2222” foo@localhost
“`
な感じでコマン