Go関連のことを調べてみた

goでweb漫画のサイトをスクレイピングしてRSSを作成する

# 前説
– もともと PHPで自分の読んでいるweb漫画のサイトをスクレイピングしてRSSを作成するツールを作っていた
– https://github.com/background-color/webcomic-crawler
– 10年近く経ち、ライブラリも古くなってしまっていたので、Goで作り直すことにしました

# 仕様
– 巡回するURL,読み込むセレクタはDB保持する
– DBからURLを取得し、セレクタの情報を取得する
– 取得した情報は、前回取得した情報と異なればDBに保持する
– 同じ場合は保持しない
– 取得した最新情報はRSSファイルに出力
– RSSリーダーで読み込みたいため

# 開発
## スクレイピングライブラリ
### 要件
– クライアントサイドレンダリングのページも読み込めること
– セレクタを指定して要素が取得できること
– 現行の仕様をそのまま使いまわしたい

というわけで、 [go-rod/rod](https://github.com/go-rod/rod) を使うことに
### コードを書いて動作確認

`

filepath.WalkDirでディレクトリ内を削除するときには注意

# やりたいこと
処理が終わった一時ディレクトリ内を綺麗したい。
でも、親ディレクトリは残しておきたい。
ディレクトリ内は階層が統一されていない。

## 削除したいディレクトリ構造

“`
.
├── parentDir1
│ ├── ChildDirA
│ │ └── ChildDirAA
│ └── ChildDirB
└── parentDir2
“`

## 試したこと
２つの方法で実施
* ReadDir
* filepath.WalkDir
filepath.WalkDirのほうが処理速度が早いという記事情報あり。

## ReadDirでディレクトリ内を取得

“`go
package main

import (
“fmt”
“io/ioutil”
“os”
“path/filepath”
)

func main() {
dir := “your_directory_path” // 対象のディレクトリパスをここに指定

err := removeSubdirectories(dir)
if err != nil {
fmt.

GOジェネレータとクロージャについて基本

## ジェネレータ
ジェネレータとは、遅延評価によって値を生成する関数やメソッドのことを指す。ジェネレータは通常、データのシーケンスを逐次的に生成するために使用される。

ジェネレータの実装
GoにはPythonやJavaScriptのような組み込みのジェネレータ機能はないが、チャネルとゴルーチンを使ってジェネレータのような機能を実装することができる。

“`go
package main

import “fmt”

// ジェネレータ関数
func fibonacci() chan int {
ch := make(chan int)
go func() {
x, y := 0, 1
for {
ch <- x x, y = y, x+y } }() return ch } func main() { fib := fibonacci() for i := 0; i < 10; i++ { fmt.Println(<-f

Go | errgroup.Group に至るまで

雑めも
– `errgroup.Group` を使っているけど、より原理的に書くとどうなるか整理
– 逆にいうと原理的に書くスタイルから、どうブラッシュアップされていくかみてみる

## `sync.WaitGroup`

– [Playgound](https://goplay.tools/snippet/BkUvjnk4s2S)
– 実行完了の制御として `sync.WaitGroup` を使う

“`go
package main

import (
“fmt”
“sync”
)

func main() {
var wg sync.WaitGroup // 実行完了の制御用

for i := range 5 { // 非同期N回実行
wg.Add(1) // increment
go func() {
defer wg.Done() // decrement
fmt.Printf(“i is %s\n”, i)
}()
}

wg.Wait() // wait
}
“`

## `sync.WaitGroup` + `chan` を使っ

GoでgRPC API超入門

自分の中で少しずつ理解できてきたので、小分けにして整理していきたくこの記事を書きました。
同じ初学者のお役に立てれば。

::: note
当記事は実装メインで解説します。
protoって何の略？これは内部でどうなってるの？的な細かい話は省いています。
気になるところがあったら他記事で補完してください🙏
:::

## 構成
今回は最小限の超簡単な構成とします。
初学者はHello,World!を出力しなければならないという法律に則り、Hello,World!を出力するAPIを実装していきます。

実装では、クライアントのインスタンス、gRPCサーバのインスタンスをそれぞれ立ち上げ、リクエスト〜レスポンスまでの流れを確認する、ということをやります。

## 大まかな手順
ゆるふわ概念図を記しておきます。
### 全体像
まずは作成するものの全体

GoとRedisで作る簡単従業員管理アプリ

# GoとRedisの勉強のために作りました

こんにちは！今回は、Go言語とRedisを使って、シンプルだけど便利な従業員管理アプリを作っていきます。プログラミング初心者の方も、ベテランの方も、一緒に楽しく学んでいきましょう！

## 1. 環境設定

まずは開発環境を整えましょう。GoとRedisをインストールして、必要なパッケージも用意します。

“`go
go mod init employee-app
go get github.com/go-redis/redis/v8
“`

これで準備オッケーです！さぁ、コーディングを始めましょう。

## 2. Redisクライアントの設定

次に、Redisに接続するためのクライアントを設定します。

“`go
package main

import (
“context”
“github.com/go-redis/redis/v8”
)

var ctx = context.Background()

func newRedisClient() *redis.Client {
return redi

Go | 同じ名前の関数で引数の数を変える

雑めも

– https://xuri.me/excelize/en/sheet.html#SearchSheet を使ってて

`f.SearchSheet(sheet, kw, true)`
と
`f.SearchSheet(sheet, kw)`

が許容されてるのに気づいたのでメモ

## 末尾に１つ要素の有無をコントロールする

– [Playground](https://goplay.tools/snippet/qLiuZ23dLjM)

“`go
package main

import (
“fmt”
)

func main() {
// opt arg なし
fmt.Println(“>> no opt arg”)
f1(“:D”)
fmt.Println()

// false
fmt.Println(“>> false”)
f1(“:D”, false)
fmt.Println()

// true
fmt.Println(“>> true”)
f1(“:D”, true)
fmt.Println()

// invalid

Go | Strategy + Null Object

## 雑めも
– ストラテジーパターン
– アルゴリズム（ストラテジー）を注入して使う。Excelストラテジー、PDFストラテジー、Nilストラテジーのどれか。
– それぞれのストラテジーごとに、構造体が違うため保持できるデータも異なる(`Excel.excel` と `Pdf.pdf` の箇所)

– Null Object
– Nilストラテジーは Null Objectパターンで、`nil` ではなくて処理をしない構造体を渡しておくと実行時に nil チェックが必要なくなる

– インジェクション
– ストラテジーを注入するタイミングがコンストラクタによる生成時かメソッドを実行時によってやり方が異なる

## ストラテジーパターン（コンストラクタインジェクション）

– [Playground](https://goplay.tools/snippet/pKsizrTUHne)

“`golang
package main

import “fmt”

func main() {
var ct Content

// Excel
ct = Content{

Go | Union を Interface で実現する

最近はもっぱらGoを書いてるがメンタルモデルがTypeScriptに引きづられていたのでコード例を交えて比較して書いてみる。

## Go

– [Playground](https://goplay.tools/snippet/ETypdOB7qVv)
– Go らしくならInterfaceで実現する
– identifyなどのようにAやBごとのそれぞれの処理は、それぞれの構造体に対してメソッドを生やす形で実現する
– ダックタイピングなので、AとBはInterfaceのAorBのことを知らない。また、`echo(str string, aorb AorB)` の `aorb` は `AorB` のInterfaceを満たすものならA、B以外でも入れられる
– kind のように、AやBごとに必ず値を持っているものはInterfaceに`Kind`を定義してメソッドで実現する

“`go
package main

import (
“fmt”
)

func main() {
// a
a := A{IamA: “なんかの値A”}
echo(“A: “, a)

[備忘録] Go CloudFunctionsでChain Middlewareを利用する

# Go CloudFunctionsでChain Middlewareを利用する

経緯

フト思った時に変態っぽいコードの書き方をしていたので、備忘録。

###### TL;DR

呼び出し元のfunctionsで、http.HandlerFunc(handler).ServeHttp(w, r)で実施する。

“`middleware.go
package middleware

import “net/http”

type Middleware func(http.Handler) http.Handler

func ChainMiddleware(h http.Handler, m …Middleware) http.Handler {
if len(m) < 1 { return h } wrapped := h for i := len(m) - 1; i >= 0; i– {
wrapped = m[i](wrapped)
}

return wrapped
}

func LoggerMiddleware(next http.Ha

InteractionとWebhookでサーバレースなDiscord Bot作成

# InteractionとWebhookでサーバーレスなDiscord Bot作成
[Interaction](https://discord.com/developers/docs/interactions/overview)ベースのDiscord Botを作ってみていい感じだったのでメモします。

## Discord Bot の2種類の作り方
Discord Botはユーザからのイベントを受け取って何らかの動作を行いますが、そのイベントの受け取り方は2種類あります：
– WebSocket
– 人間のユーザと同じようにクライアント -> Discord へ接続します
– Botプロセスを常駐させる必要があります
– Webhook
– イベントが起こると Discord からあらかじめ定めたHTTPエンドポイント(Interaction Endpoint URL)へWebhookが飛びます
– リクエストベースで起動する Lambda や Cloud Run などのサービスと相性が良いです

WebhookはWebSocketベースのBotよりも受信できるイベン

github.com/aws/aws-sdk-go-v2のEndpointが非推奨になっていた件

# 概要

新しいサービスを作るにあたってGo言語からR2に読み書きする必要があり、[github.com/aws/aws-sdk-go-v2](github.com/aws/aws-sdk-go-v2)を使ったS3クライアントの初期化処理を既存サービスから流用しようとしました。その際、`EndpointResolverWithOptionsFunc`などの関数がDeprecatedになっていました。

これについて言及している記事があまり無かったので、メモがてら記事にしてみました。

# 内容
調べたところSDKの[aws/endpoints.go](https://github.com/aws/aws-sdk-go-v2/blob/main/aws/endpoints.go)内の構造体や関数が非推奨になっていました。

`EndpointResolver`のインターフェース定義部分に以下のようなコメントがありました。

“`golang
// Deprecated: The global endpoint resolution interface is deprecated. T

【Go言語】スキルチェックを解くための開発環境とコーディングの考え方

# 概要

コラボキャンペーンが面白そうなので、久しぶりにPaizaの問題を解いてみました。

せっかくなので、ローカルの環境でもテストができる環境構築も整え、解説してみようかと思います。
少し前まで、Paizaのエディターで直接書いて提出していました。もちろんテストなしでした(笑)

提出コードは Go言語を使用しています。(私の一番得意な言語なので)

## 想定する読者

– 就職活動でPaizaを利用している人
– エンジニアになってまだ経験が浅い人

## この記事の目的

– Paizaのスキルチェックを受け、エンジニアへの就職(転職)を成功させる

## この記事で解説すること

– 実務のコードと競技プログラミングのコードの考え方
– Paizaの問題をローカル環境で書いて試す

ローカルでの開発環境を整えることで、より効果的、効率的にPaizaのスキルチェックを受ける。
ただスキルチェックを受けるだけでなく、企業の目に止まりやすいコーディングができるようになる。
これらを目指して、就職(転職)を成功させてほしいと思います。

## この記事では解説していないこと

提

goのエラーハンドリング

実用Go言語 第5章 エラーハンドリング より

### エラーハンドリングの基本
エラーハンドリングとしては多くの場合以下のような方針が考えられる。
1. 呼び出し元に関数の引数などの情報を付与してエラーを返す
2. ログを出力して処理を継続する
3. リトライを実施する
4. リソースをクローズする

Goではpanicを多用せずエラーハンドリングを行いエラーを返すべき。

### 呼び出し元に情報を付与して返す
エラーが発生した場合そのまま返していては発生個所の特定がむずかしいため、情報を付加して返す。
“`
user, err := getInvitedUserWithEmail(ctx, email)
if err != nil {
return fmt.Errorf(“fail to get invited user with email(%s): %w”, email, err)
}
“`

### ログを出力して処理を継続
ex. データベースに指定されたレコードが存在しないとデフォルトの値を用いて処理を継続するなど
“`
//func featchCap

goのエラー作成

実用Go言語 第五章　エラーハンドリングよりメモ

goアプリケーションでエラーを作成する方法は大きく二つに分けられる。

1. 標準ライブラリの関数を使って作成
2. アプリケーション独自のエラー型を定義

### errors.new
もっともシンプルなエラー生成法。変数に保存すると区別してハンドリングしやすい。
“`
var ErrNotFound = errors.New(“not found`)
func findBook(isbn string) (*Book, error) {
return nil, ErrNotfound
}
“`

### fmt.Errorf
フォーマットされた文字列を元にエラーを作成
“`
func validate(length int) error {
if length <= 0 { return fmt.Errorf("length must be greater than 0, length = %d", length) } return nil } ``` ### 独自のエラー型

gormを使ったクエリーのロギング

実用Go言語 9.9.4 クエリーのロギングより メモ

– 標準ライブラリのdatabase/sqlパッケージはロギングをサポートしていない
– サードパーティ側で用意されている場合積極的にライブラリ側のAPIを使うとよい

“`
newLogger := logger.New(
log.New(os.Stdout, “\r”, log.LstdFlags), //出力設定、改行方法、プロパティ
logger.Config{LogLevel: logger.Info}, //Silent, Error, Warn, Info がある
)

db, err := gorm.Open(sqlite.Open(“test.db”), &gorm.Config{Logger: newLogger})
if err != nil {
log.Fatal(err)
}
“`

※log.LstdFlags とは
logを yyyy/mm/dd HH:MM:SS　で表示する。
他にもLmicrosecondsマイクロセカンド表示などがある

表示されたログ
“`

Cloudbuildとgoのginを使用してCloudRunとcloudFunctions(gen2)へデプロイする

## ディレクトリ構造
“`
./
├─/cmd
│ └── main.go
├─/handlers
│ └── handlers.go
├── Dockerfile
├── go.mod
├── go.sum
├── cloudbuild.yaml
└── router.go
“`
## goのソース
“`main.go
package main

import (
“context”
“log”

router “github.com/yourname/gin”

“github.com/GoogleCloudPlatform/functions-framework-go/funcframework”
)
func main() {

ctx := context.Background()

gin := router.GinHandler

// 実行する関数の登録
if err := funcframework.RegisterHTTPFunctionContext(ctx, “/”, gin); err != nil {
log.Fatalf(“fu

キー一発でOCR+Linterかけてコマメに日本語をメンテナンスするツール書いた！

# 日本語の乱れはコンテキストの乱れ

日本人だけど日本語力に乏しいと言われ続けて生きてきました・・・

「～の、～の、って二度出てきて読み辛い」
「実装を行う、じゃなくて、実装するで良いんじゃない？」
「アプリなのかい？アプリケーションなのかい？どっちなんだい？」

みなさんも経験があると思うけど、こういう些細なミスは口語だったら言い直しと説明で済む。
でも、資料だけを見て、内容を判断しなきゃならない場合誤読を呼び込んでしまう。
「てにおはを正しく！」って昔、先輩に言われてた事、そういう事だって良いオジサンになってから思い返してる。
読み辛い文はコンテキストを乱し、伝えたいメッセージを弱めてしまう、そういうことだったのサ！

**リンター入れますか?**

# リンター入れられません・・・

Markdownとかテキスト形式ならtextlint使うなりのエコシステムに乗っかれた。
でもそうはいかない状況はしばしば発生する・・・

– Powerpoint
– ブラウザのスプシ
– PDFとかリッチなフォーマット
– そもそも画像フォーマット

元ソースがテキスト文章に寄せてないフォー

【地図】日本の市区町村ごとの犯罪率/賃貸/年収/人口のステータスが一覧できるWebサイトを作りました。【個人開発】

# 1.概要

– サイト名: 日本まとめ地図
– URL: https://prod.jpn-map-status.com/

「日本地図ステータス」は、日本の各都道府県のさまざまな統計情報を視覚的に表示するウェブサイトです。このサイトは、次のような特徴を持っています。

1. Leafletを使って視覚的に情報を表示しています。
– 地図ライブラリはフリーのleafletを使用しています。
2. 各市区町村ごとにステータス１６段階色分け
– 平均年収・賃貸・人口密度・治安で順位づけしてます。
– 治安は1000人あたりの犯罪認知件数から算出
– ヘッダーのメニューから項目の切り替え
3. 各地域をクリックすることで詳細を表示
– 具体的な数値を表示

**情報元**
政府統計ポータル[e-St

ProxmoxをiPXEでいれてみた

## 概要
ProxmoxをiPXE経由で起動して自動セットアップをしてみる

## 流れ
1. iPXEBoot可能なPCを起動する
1. DHCPによりインストーラの場所を取得
1. HTTPサーバーよりインストーラの取得
1. 同じくHTTPサーバーより初期セットアップ用の回答ファイルの取得
1. 自動起動！

## 環境
| 機器 |
|——|
|NEC IX2215|
|動いてるPROXMOXサーバー 8.1.4|

## 手順
#### iPXEBoot可能なPCを準備する
検証につき自前proxmoxサーバーにてVMを準備
マシン: i440fx
BIOS: SeaBIOS
OSタイプ: Linux 6.x
CPU: HOST
メモリ: 6,144

:::note warn
メモリが6GB以下だとインストールができないことがあった
:::

一度起動し、BIOS設定にて起動順序を`iPXE ipv4` のみにしておく

#### インストーラの準備
https://pve.proxmox.com/wiki/Automated_Installation
ここを参考