Shopee亮相全球架构师峰会，分享数据事件中心的设计与实现

ArchSummit全球架构师峰会

ArchSummit全球架构师峰会是重点面向高端技术管理者、架构师的技术会议，54%参会者拥有8年以上工作经验。聚焦业界强大的技术成果，展示先进技术在行业中的最佳实践，以及技术在企业转型、发展中的推动作用。

2019年全球架构师峰会参会企业200+，高级技术专家比例74%，90%以上嘉宾有10年以上开发经验，是一场具有技术深度与实践意义的高规格活动。

Shopee 是东南亚与台湾领航电商平台，站点布局在新加坡、马来西亚、菲律宾、台湾、印度尼西亚、泰国和越南市场，通过提供一个连接买卖双方的技术平台，为所有用户提供既轻松又愉快的购物体验。2018年 Shopee GMV 达到103亿美金，同比增长149.9%，APP下载量超过2亿。

虽然 Shopee 各个站点是分开的，但是最终的数据是打通的，如何实现跨地域的协同一致性是巨大的技术挑战。Shopee 大神林锋（Engineering & Technology 部门技术平台负责人）亮相全球架构师技术峰会，分享了《Shopee 数据事件中心的设计和实现》。

电商系统的业务需求复杂，包含许多不同的子系统，对一些数据的操作常常需要多个系统联动，也有在不同系统间同步数据的需求，导致不同系统之间紧密耦合。

DEC (Data Event Center) 是 Shopee 的数据库事件订阅和任务执行平台，负责监听 MySQL 数据库数据变更事件，并根据用户配置对数据事件进行处理，执行数据同步、缓存同步、事件回调等不同类型的任务。通过 DEC 使用简单配置就可以实现上述不同的需求，从而提高研发效率，也使同一数据的不同使用方之间互相解耦。

DEC 任务流程

支持多种写入目标

MySQL

TiDB

Redis

Memcached

Kafka

RabbitMQ(Celery)

……

林锋在分享中介绍了 Shopee 对 DEC 的系统设计和实现，围绕实际需求和应用场景、Shopee 数据库事件订阅系统的演进、DEC 具体设计框架以及我们实践过程中遇到的问题等，展示了 Shopee 如何解决一系列技术挑战，最终实现系统整体的高可用性、高伸缩性和高性能，在不增加运维复杂度的情况下保证不同任务间的隔离，以及在复杂场景下保证数据的强一致性或最终一致性。

现场观众多次举手机拍照，认真记录林锋的分享演示

目前，Shopee 有20+任务运行在 DEC 上，包括并不限于分库分表数据的索引表维护、异构数据库同步、数据库重构过程中新旧数据表同步、数据修改记录的审计表维护、数据变更触发回调任务、缓存更新……

林锋最后谈到团队未来的规划与目标已清晰设定，比如完善自主化平台和工具、支持更多数据源和目标、可配置的动态调度策略等等，期望更多对技术充满热情的小伙伴加入 Shopee，共“构”未来！

- 林锋团队热招 -

跟他并肩作战，共攀技术高峰

软件工程师：

技术平台开发

高级软件工程师：

技术平台开发

*以上岗位均在新加坡

想回顾林锋全场分享内容？

想与Shopee技术碰撞火花？

想要收获我们的第一手资料？

▼

欢迎加入「Shopee技术交流群」

如果你爱技术、有追求、够硬核

如果你对Shopee充满兴趣

来与我们畅聊不休吧

进群方式

在微信公众号“Shopee招聘”对话框

或本篇推送下方留言关键词：

技术交流群

就能解锁进群的最新消息啦

上文分享中提到的内容，也是 Shopee 深圳研发中心 Infrastructure Team 的部分工作，想加入他们一起迎接技术上的挑战，成为公司可靠的支柱吗？我想你需要了解——

Shopee Infrastructure Team

Shopee 内部的技术支撑平台，目标为公司提供稳定高效的基础服务平台、全方位的运维管理和技术支持,不断根据Shopee的业务需求完善和优化功能与体验，为研发团队提供稳定、高效和易用的服务。

热招岗位

DevOps工程师

运维开发工程师

运维前端工程师

运维测试开发工程师

运维平台产品经理

拓展阅读：往期精彩内容回顾

Shopee 是东南亚与台湾领航电商平台，覆盖新加坡、马来西亚、菲律宾、台湾、印度尼西亚、泰国和越南市场。2018 年 Shopee GMV 达到103 亿美金，同比增长 149.9%，App 下载量超过 2 亿，员工遍布东南亚与中国超 8000 人。根据权威移动数据分析平台 App Annie，Shopee 为 2018 年东南亚购物类 App 下载量第一名。

研发、产品、设计、运营……

海量职位正在热招

加入Shopee，拥有无限可能

与我们一起创造历史！

点击“阅读原文” 了解Shopee职位

↓↓↓