SpringBoot + Canal 数据同步丢失补偿：MySQL binlog 位点跳跃导致 ES 数据不全？位点校验 + 自动追平
一、问题背景：Canal 同步的"黑洞效应" 你是否遇到过这样的场景： 使用 Canal 监听 MySQL binlog 同步数据到 Elasticsearch 系统运行一段时间后，发现 ES 中的数据与 MySQL 不一致 某些时间段的数据完全丢失，却找不到任何错误日志 这就是典型的binlog 位点跳跃问题。Canal 在解析 binlog 时，可能因为网络抖动、服务重启、位点记录失败等原因，跳过部分 binlog 事件，导致数据同步丢失。 真实案例：某电商平台使用 Canal 同步商品数据到 ES，在一次服务重启后发现最近2小时的商品库存更新丢失，导致用户看到的库存与实际库存不一致，造成了严重的业务损失。 二、核心概念：Canal 位点管理机制 2.1 Canal 位点存储方式 存储方式描述优点缺点适用场景 MetaStore内存存储性能高重启丢失测试环境 ZookeeperZK 存储可靠依赖 ZK生产环境 MySQL数据库存储可靠依赖 DB生产环境 File文件存储简单单节点小规模 2.2 位点跳跃的常见原因 ┌────────────────────────....
