德哥邀你鞭策数据库第4期-逻辑日志居然只有全局开关
文中参考文档点击阅读原文打开, 同时推荐2个学习环境:
1、懒人Docker镜像, 已打包200+插件:《最好的PostgreSQL学习镜像》
2、有web浏览器就能用的云起实验室: 《免费体验PolarDB开源数据库》
3、PolarDB开源数据库内核、最佳实践等学习图谱: https://www.aliyun.com/database/openpolardb/activity
德哥喊你一起鞭策数据库第4期-逻辑日志居然只有全局开关!
1、产品的问题点
PG 逻辑日志只有全局开关
2、问题点背后涉及的技术原理
如果要支持逻辑增量订阅, 必须开启逻辑日志(wal_level=logical), 开启后在wal日志中会写入解析逻辑日志的内容, 而这个开关只能全局设置. (REPLICA IDENTITY=nothing只能控制old value, 不能控制insert造成的logical log)
3、这个问题将影响哪些行业以及业务场景
SaaS行业
多地1中心的只需要跨地域共享少部分数据表的场景. 例如政务类业务、多地域部署的游戏、社交业务.
4、会导致什么问题?
开启wal_level=logical后, 日志量会有较大增加. 如果订阅的表比较少, 实际有用的logical日志占比较少, 造成较大浪费.
如果订阅的表比较少, 在wal sender端解析时依旧需要解析并过滤不需要的wal, 所以会造成wal的读浪费, CPU解析浪费.
5、业务上应该如何避免这个坑
业务设计时把需要共享的少部分表拆出, 使用单独的PG实例.
6、业务上避免这个坑牺牲了什么, 会引入什么新的问题
增加了复杂度, 需要重新设计实例, 如果时已有业务, 还需要考虑表于表之间是否有依赖关系, 比较复杂.
7、数据库未来产品迭代如何修复这个坑
等内核层支持表级的wal logical开关?
欢迎关注我的github (https://github.com/digoal/blog) , 学习数据库不迷路.
近期正在写公开课材料, 未来将通过视频号推出, 欢迎关注视频号: