其他
Spirit:继承 gh-ost 灵魂的 MySQL 在线大表变更方案
昨天看到社区发布了一个新的 MySQL 大表变更工具 Spirit。是海外支付巨头 Block 旗下的 Cash App (地位类似于支付宝) 开源的,作者之前也在 PingCAP 工作过。
目前市面上做大表变更的方案有两个:
Percona 开源的 pt-online-schema-change,基于 trigger。 GitHub 开源的 gh-ost,基于 binary log。
业界更多采用 gh-ost 方案。Bytebase 也集成了基于 gh-ost 的大表变更方案。
Spirit 也是继承了 gh-ost 的灵魂,整体框架沿用 gh-ost。Spirit 这个名字(中文:精神)也是致敬的 Ghost。
Spirit 对于 gh-ost 的改进点:
多线程复制 断点恢复 自适应复制数据的速度 通过设置水位标和保存 Change Row Map 避免复制不必要的数据
这其中最有价值的改进点是 2 - 断点恢复。之前 gh-ost 的问题是一旦断开,就要重头再来,变更一张大表,有时要几天,好不容易等到快结束时, gh-ost 挂了,一切从头来过,那大家都奔溃。
而大表变更跑的越久,挂掉的可能性就越高。尤其现在大家都跑在 K8s 上,pod 挂掉本身就是预期的。要知道数据库变更没做完,新的应用版本就没法上线,新的应用版本没法上线,新的运营活动就不能展开。这种延期对于像 Cash app 这样的业务是不可接受的。
Spirit 和 gh-ost 还有两个需要注意的区别:
Spirit 不像 gh-ost 那样提供激进的限流 Spirit 只支持 MySQL 8.0
我想这最后一条估计会劝退不少国内的用户,虽然 MySQL 5.7 已经官宣了 EOL,但国内 MySQL 5.6 也不在少数。