eta_api/services/binlog/binlog.go

package binlog

import (
	"eta/eta_api/models/binlog"
	"eta/eta_api/utils"
	"fmt"
	"math/rand"
	"strconv"
	"time"

	"github.com/go-mysql-org/go-mysql/canal"
	"github.com/go-mysql-org/go-mysql/mysql"
	_ "github.com/go-sql-driver/mysql"
)

func ListenMysql() {
	var err error
	defer func() {
		if err != nil {
			fmt.Println("数据库监听服务异常,err：", err)
		}
	}()
	if utils.MYSQL_DATA_BINLOG_URL == "" {
		panic("mysql url is empty")
	}

	if utils.MYSQL_DATA_BINLOG_USER == "" {
		panic("mysql user is empty")
	}
	if utils.MYSQL_DATA_BINLOG_PWD == "" {
		panic("mysql password is empty")
	}
	if utils.MYSQL_DATA_BINLOG_DB == "" {
		panic("mysql db is empty")
	}

	includeTableRegex := []string{
		utils.MYSQL_DATA_BINLOG_DB + ".edb_info$",
		// utils.MYSQL_DATA_BINLOG_DB + ".edb_classify$",
		// utils.MYSQL_DATA_BINLOG_DB + ".base_from_mysteel_chemical_index$",
		// utils.MYSQL_DATA_BINLOG_DB + ".base_from_smm_index$",
		// utils.MYSQL_DATA_BINLOG_DB + ".edb_data*",
	}

	// 主从复制的身份id配置，必须全局唯一，如果没有配置的话，那么会随机生成一个
	var serverId uint32
	if utils.MYSQL_DATA_BINLOG_SERVER_ID != "" {
		id, _ := strconv.ParseUint(utils.MYSQL_DATA_BINLOG_SERVER_ID, 10, 32)
		serverId = uint32(id)
	}
	if serverId == 0 {
		serverId = uint32(rand.New(rand.NewSource(time.Now().Unix())).Intn(1000)) + 1001
	}
	cfg := &canal.Config{
		// 一个32位无符号整数，用于标识当前 Canal 实例在 MySQL 主从复制体系中的身份。这里使用了一个随机数生成器确保每次启动时分配的 ServerID 是唯一的（在1001到1099之间）。在实际生产环境中，你需要手动指定一个全局唯一的 ServerID。
		ServerID: serverId,
		// 指定 Canal 要连接的数据库类型，默认为 "mysql"，表明这是一个 MySQL 数据库。
		Flavor: "mysql",
		// 设置 MySQL 服务器地址（主机名或 IP 地址）和端口，例如 "127.0.0.1:3306"。
		Addr:     utils.MYSQL_DATA_BINLOG_URL,
		User:     utils.MYSQL_DATA_BINLOG_USER,
		Password: utils.MYSQL_DATA_BINLOG_PWD,
		// 如果设置为 true，Canal 将以原始二进制格式获取 binlog，否则将以解析后的 SQL 语句形式提供。
		//RawModeEnabled:  false,
		// 是否启用半同步复制。当设置为 true 时，MySQL 主库在事务提交后会等待至少一个从库确认已接收并写入 binlog 才返回成功，提高了数据一致性。
		SemiSyncEnabled: false,
		//  是否将 MySQL 中的 decimal 类型字段解析为 Go 的 Decimal 类型，而不是 float 或者 string。如果业务中有精确小数计算的需求，应开启此选项以避免精度丢失问题。
		UseDecimal: true,
		// 用于控制初始数据导出的相关配置，在 Canal 启动时是否需要全量同步表数据。
		//Dump:              dumpConf,
		// 正则表达式字符串，用于定义 Canal 应该监听哪些表的 binlog 事件。只有名称匹配该正则表达式的表才会被 Canal 同步处理。
		IncludeTableRegex: includeTableRegex,
	}

	// 校验mysql binlog format，目前仅支持row格式
	{
		binlogFormat, tmpErr := binlog.GetBinlogFormat()
		if tmpErr != nil {
			err = tmpErr
			return
		}

		if binlogFormat.Value != "ROW" {
			panic("mysql binlog format is not ROW")
		}
	}

	//  获取上一次启动时的binlog文件名称和位置
	fileName, position, err := getBinlogNamePosition()
	if err != nil {
		return
	}
	// 修改记录本次启动时的binlog文件名称和位置
	modifyBinlogNamePosition(fileName, position)
	// 定时修改binlog文件名称和位置
	go timingModifyBinlogNamePosition()

	c, err := canal.NewCanal(cfg)
	if err != nil {
		fmt.Println("err:", err)
		return
	}
	utils.FileLog.Debug("记录上一次启动时的fileName:", fileName, ";position:", position)

	binlogHandler := &EdbEventHandler{}
	binlogHandler.SetBinlogFileName(fileName, position)
	c.SetEventHandler(binlogHandler)
	//c.Run()
	// 同步到redis
	go binlogHandler.SyncToRedis()

	pos := mysql.Position{
		Name: fileName,
		Pos:  position,
	}
	err = c.RunFrom(pos)
}

// getBinlogNamePosition
// @Description: 获取当前binlog文件名称和位置
// @author: Roc
// @datetime 2024-05-17 13:18:19
// @return fileName string
// @return position uint32
// @return err error
func getBinlogNamePosition() (fileName string, position uint32, err error) {
	// 优先从redis获取
	fileName = utils.Rc.GetStr(utils.CACHE_MYSQL_DATA_FILENAME)
	position64, err := utils.Rc.GetUInt64(utils.CACHE_MYSQL_DATA_POSITION)
	if err != nil {
		if err.Error() != utils.RedisNoKeyErr {
			panic("mysql binlog position is not found,err：" + err.Error())
			return
		}
		err = nil
	}

	position = uint32(position64)

	// 如果没有从redis中获取到上次监听到的binlog的文件名称，或者位置为0，则从mysql中获取，则从 MySQL 中获取最新的文件名和位置。
	if fileName == `` || position == 0 {

		// binlog文件名
		fileNameKey := binlog.BinlogFileNameKey
		fileNameLog, tmpErr := binlog.GetBusinessSysInteractionLogByKey(fileNameKey)
		if tmpErr == nil {
			fileName = fileNameLog.InteractionKey
		}

		// binlog位置
		positionKey := binlog.BinlogPositionKey
		positionLog, tmpErr := binlog.GetBusinessSysInteractionLogByKey(positionKey)
		if tmpErr == nil {
			positionStr := positionLog.InteractionKey
			positionInt, tmpErr := strconv.Atoi(positionStr)
			if tmpErr == nil {
				position = uint32(positionInt)
			}
		}
	}

	// 从mysql中获取最新的binlog文件名称和位置，名称不一致则以mysql中为准
	if fileName == `` || position == 0 {
		item, tmpErr := binlog.GetShowMaster()
		if tmpErr != nil {
			err = tmpErr
			return
		}
		fileName = item.File
		position = item.Position
	}
	return
}

// modifyBinlogNamePosition
// @Description: 修改记录本次启动时的binlog文件名称和位置
// @author: Roc
// @datetime 2024-05-17 11:32:32
// @param fileName string
// @param position uint32
// @return err error
func modifyBinlogNamePosition(fileName string, position uint32) {
	var err error
	defer func() {
		if err != nil {
			utils.FileLog.Error("修改binlog文件名称和位置异常,fileName", fileName, ",position:", position, ",err：", err)
		}
	}()

	// fileName 变更
	fileNameKey := binlog.BinlogFileNameKey
	fileNameLog, err := binlog.GetBusinessSysInteractionLogByKey(fileNameKey)
	if err != nil {
		if err.Error() != utils.ErrNoRow() {
			return
		}
		err = nil
		fileNameLog = &binlog.BusinessSysInteractionLog{
			//ID:             0,
			InteractionKey: fileNameKey,
			InteractionVal: fileName,
			Remark:         "mysql中binlog的filename名称",
			ModifyTime:     time.Now(),
			CreateTime:     time.Now(),
		}
		err = fileNameLog.Create()
		if err != nil {
			return
		}
	} else {
		fileNameLog.InteractionVal = fileName
		fileNameLog.ModifyTime = time.Now()
		err = fileNameLog.Update([]string{"InteractionVal", "ModifyTime"})
		if err != nil {
			return
		}
	}

	// position 变更
	positionKey := binlog.BinlogPositionKey
	positionLog, err := binlog.GetBusinessSysInteractionLogByKey(positionKey)
	if err != nil {
		if err.Error() != utils.ErrNoRow() {
			return
		}
		err = nil
		positionLog = &binlog.BusinessSysInteractionLog{
			//ID:             0,
			InteractionKey: positionKey,
			InteractionVal: fmt.Sprint(position),
			Remark:         "mysql中binlog的position位置",
			ModifyTime:     time.Now(),
			CreateTime:     time.Now(),
		}
		err = positionLog.Create()
		if err != nil {
			return
		}
	} else {
		positionLog.InteractionVal = fmt.Sprint(position)
		positionLog.ModifyTime = time.Now()
		err = positionLog.Update([]string{"InteractionVal", "ModifyTime"})
		if err != nil {
			return
		}
	}

	return
}

// timingModifyBinlogNamePosition
// @Description: 定时修改binlog文件名称和位置
// @author: Roc
// @datetime 2024-05-17 13:08:13
func timingModifyBinlogNamePosition() {
	for {
		// 延时30s执行
		time.Sleep(30 * time.Second)

		// 获取最新的binlog文件名称和位置
		fileName, position, err := getBinlogNamePosition()
		if err != nil {
			return
		}

		if fileName != `` && position != 0 {
			// 修改记录本次启动时的binlog文件名称和位置
			modifyBinlogNamePosition(fileName, position)
		}
	}
}