百亿级数据查询秒级响应！京东数坊是如何做到的？

每年的618、11.11是全球消费者的购物狂欢节，也是各路品牌商营销大促的盛会。然而近年来，随着市场环境变得复杂，品牌商之间竞争愈发激烈，要想在这场大促战役中“突出重围”，针对潜客进行精准投放和营销无疑是最有效的解题之道。

京东数坊正是为品牌商特意打造的一套精准营销工具，可以帮助商家实现消费者洞察，制定有效的营销策略，并对投放进行效果复盘。截至2021年2月底，已开通并积极使用京东数坊的品牌已超过3000家，覆盖家电、美妆、快消、手机、食品等各大行业的全球品牌。

高并发业务场景背后的技术挑战

在京东618、京东11.11活动期间，京东数坊需要支持超过3000家品牌商同时在线圈选潜客，极大的数据量对数据的存储，处理，传输，读取的性能都是一个严峻挑战。

由于之前数坊采用离线计算方式进行潜客圈选，在离线任务数量不多的时候，资源和实效性可以满足用户需求。然而在大促期间，圈选使用频次增加，受资源调度的影响，查询结果需要半小时才能显示。如遇到极端情况，甚至会导致系统无响应。如何让品牌商拥有顺畅无感知的服务体验，这对数坊的系统后台提出更高的要求，秒级响应、安全稳定则是关键。

数坊的业务系统具备节假日需求激增的特征，每年大促期间、节日期间，潜客圈选的需求往往会爆发式增长。具体来说，需要支撑3000家品牌频繁圈选需求，需要保证系统有足够的“弹性”来应对618、11.11大促前的流量峰值，保证业务服务不中断。

海量数据秒级响应法宝—京东云数据仓库JDW

为了更好的助力京东数坊服务品牌商，解决海量数据复杂处理的问题，让系统响应更迅速，结果更精确。京东云基于开源项目Greenplum构建了大规模并行处理（MPP）数据仓库JDW产品，可广泛应用在OLAP（联机分析处理）场景中海量数据的查询和处理。告别高延迟，百亿级数据查询都可秒级响应！

数据仓库JDW服务默认采用高可用架构，实现VPC部署，也提供高可靠的日志服务和自动扩容功能，让数坊可以随时根据业务需求在线扩容，满足业务的快速增长，提升业务数据分析效率。同时，数据仓库JDW兼容ANSISQL2003及PostgreSQL数据库生态，既提供高性能离线数据处理，也支持高并发在线分析。

在海量数据处理方面，数据仓库JDW采用bitmap位图数据结构，可实现海量数据存储、计算、查询性能优化。并在此基础上，京东云采用一种压缩率更高的稀疏位图--RoaringBitmap来进行数据存储，这种方式极大的减缓了每天数据量急剧增长的存储和计算压力，对数据的存储，处理，传输，读取性能都有大幅度提升。

在数据查询响应方面，数据采用分布式架构，通过bitmap插件实现实时的交并差计算，实现分钟级甚至秒级的分析，极大的提升了用户圈选潜客的效率。

在运维与服务方面，利用京东云便捷的运维安全管控能力，借助可视化丰富的监控指标和自动报警机制，极大降低了数坊在运维的压力，为数坊上的品牌商提供优质服务体验。

通过以上措施，京东云数据仓库JDW完美地解决了京东数坊数据处理量大、查询延时高的问题，让品牌商在秒级筛选出目标客户，帮助了品牌主快速开展营销活动，抢占先机，持续增长。

大规模、离在线并行处理业务场景的好帮手

京东云数据仓库JDW拥有丰富的生态建设，支持冷热数据分离，用户的热数据可以存在数据仓库JDW做分析和计算，冷数据通过京东云自研插件实时传输到云对象存储上。

京东云数据仓库JDW除了可以应用在精准营销领域，例如像商业选址分析、商圈运营分析、金融业务分析、游戏运营分析等大规模离线和在线并行处理的场景中，也可以广泛使用。

End

|往期回顾|