Shopee亮相全球架构师峰会,分享数据事件中心的设计与实现
ArchSummit全球架构师峰会
ArchSummit全球架构师峰会是重点面向高端技术管理者、架构师的技术会议,54%参会者拥有8年以上工作经验。聚焦业界强大的技术成果,展示先进技术在行业中的最佳实践,以及技术在企业转型、发展中的推动作用。
2019年全球架构师峰会参会企业200+,高级技术专家比例74%,90%以上嘉宾有10年以上开发经验,是一场具有技术深度与实践意义的高规格活动。
Shopee 是东南亚与台湾领航电商平台,站点布局在新加坡、马来西亚、菲律宾、台湾、印度尼西亚、泰国和越南市场,通过提供一个连接买卖双方的技术平台,为所有用户提供既轻松又愉快的购物体验。2018年 Shopee GMV 达到103亿美金,同比增长149.9%,APP下载量超过2亿。
虽然 Shopee 各个站点是分开的,但是最终的数据是打通的,如何实现跨地域的协同一致性是巨大的技术挑战。Shopee 大神林锋(Engineering & Technology 部门技术平台负责人)亮相全球架构师技术峰会,分享了《Shopee 数据事件中心的设计和实现》。
电商系统的业务需求复杂,包含许多不同的子系统,对一些数据的操作常常需要多个系统联动,也有在不同系统间同步数据的需求,导致不同系统之间紧密耦合。
DEC (Data Event Center) 是 Shopee 的数据库事件订阅和任务执行平台,负责监听 MySQL 数据库数据变更事件,并根据用户配置对数据事件进行处理,执行数据同步、缓存同步、事件回调等不同类型的任务。通过 DEC 使用简单配置就可以实现上述不同的需求,从而提高研发效率,也使同一数据的不同使用方之间互相解耦。
DEC 任务流程
支持多种写入目标
MySQL
TiDB
Redis
Memcached
Kafka
RabbitMQ(Celery)
……
林锋在分享中介绍了 Shopee 对 DEC 的系统设计和实现,围绕实际需求和应用场景、Shopee 数据库事件订阅系统的演进、DEC 具体设计框架以及我们实践过程中遇到的问题等,展示了 Shopee 如何解决一系列技术挑战,最终实现系统整体的高可用性、高伸缩性和高性能,在不增加运维复杂度的情况下保证不同任务间的隔离,以及在复杂场景下保证数据的强一致性或最终一致性。
现场观众多次举手机拍照,认真记录林锋的分享演示
目前,Shopee 有20+任务运行在 DEC 上,包括并不限于分库分表数据的索引表维护、异构数据库同步、数据库重构过程中新旧数据表同步、数据修改记录的审计表维护、数据变更触发回调任务、缓存更新……
林锋最后谈到团队未来的规划与目标已清晰设定,比如完善自主化平台和工具、支持更多数据源和目标、可配置的动态调度策略等等,期望更多对技术充满热情的小伙伴加入 Shopee,共“构”未来!
- 林锋团队热招 -
跟他并肩作战,共攀技术高峰
软件工程师:
技术平台开发
高级软件工程师:
技术平台开发
*以上岗位均在新加坡
想回顾林锋全场分享内容?
想与Shopee技术碰撞火花?
想要收获我们的第一手资料?
▼
欢迎加入「Shopee技术交流群」
如果你爱技术、有追求、够硬核
如果你对Shopee充满兴趣
来与我们畅聊不休吧
进群方式
在微信公众号“Shopee招聘”对话框
或本篇推送下方留言关键词:
技术交流群
就能解锁进群的最新消息啦
上文分享中提到的内容,也是 Shopee 深圳研发中心 Infrastructure Team 的部分工作,想加入他们一起迎接技术上的挑战,成为公司可靠的支柱吗?我想你需要了解——
Shopee Infrastructure Team
Shopee 内部的技术支撑平台,目标为公司提供稳定高效的基础服务平台、全方位的运维管理和技术支持,不断根据Shopee的业务需求完善和优化功能与体验,为研发团队提供稳定、高效和易用的服务。
热招岗位
DevOps工程师
运维开发工程师
运维前端工程师
运维测试开发工程师
运维平台产品经理
拓展阅读:往期精彩内容回顾
【Shopee社招】7.13深圳研发中心To C技术专场招聘会
Shopee 研发中心2020校招剧透?7月2日牛客职播见!
【Shopee社招】7.6 深圳研发中心产品&设计专场招聘会
Shopee 是东南亚与台湾领航电商平台,覆盖新加坡、马来西亚、菲律宾、台湾、印度尼西亚、泰国和越南市场。2018 年 Shopee GMV 达到103 亿美金,同比增长 149.9%,App 下载量超过 2 亿,员工遍布东南亚与中国超 8000 人。根据权威移动数据分析平台 App Annie,Shopee 为 2018 年东南亚购物类 App 下载量第一名。
研发、产品、设计、运营……
海量职位正在热招
加入Shopee,拥有无限可能
与我们一起创造历史!
点击“阅读原文” 了解Shopee职位
↓↓↓