吊炸天的 JD-hotkey ！京东开源！单机 QPS 高达 370000

HotKey在618稳定版0.2版基础上，引入了protobuf序列化方式，并优化了传输对象。

系统架构

京东APP后台热数据探测框架，历经多次高压压测和2020年京东618大促考验。在上线运行的这段时间内，每天探测的key数量数十亿计，精准捕获了大量爬虫、刷子用户，另准确探测大量热门商品并毫秒级推送到各个服务端内存，大幅降低了热数据对数据层的查询压力，提升了应用性能。

该框架历经多次压测，性能指标主要有两个：

1、探测性能：

8核单机worker端每秒可接收处理16万个key探测任务，16核单机至少每秒平稳处理30万以上，实际压测达到37万，CPU平稳支撑，框架无异常。

2、推送性能：

在高并发写入的同时，对外推送目前性能约平稳推送每秒10-12万次，譬如有1千台server，一台worker上每秒产生了100个热key，那么这1秒会平稳推送100 * 1000 = 10万次，10万次推送会明确在1s内全部送达。如果是写入少，推送多，以纯推送来计数的话，该框架每秒可稳定对外推送40-60万次平稳，80万次极限可撑几秒。

3、在真实业务场景中:

可用1：1000的比例，即1台worker支撑1000台业务服务端的key探测任务，即可带来极大的数据存储资源节省（如对redis集群的扩充）。

介绍

对任意突发性的无法预先感知的热点请求，包括并不限于热点数据（如突发大量请求同一个商品）、热用户（如爬虫、刷子）、热接口（突发海量请求同一个接口）等，进行毫秒级精准探测到。然后对这些热数据、热用户等，推送到该应用部署的所有机器JVM内存中，以大幅减轻对后端数据存储层的冲击，并可以由客户端决定如何使用这些热key（譬如对热商品做本地缓存、对热用户进行拒绝访问、对热接口进行熔断或返回默认值）。这些热key在整个应用集群内保持一致性。

核心功能：热数据探测并推送至集群各个服务器。

适用场景

• 1、 mysql热数据本地缓存
• 2、 redis热数据本地缓存
• 3、 黑名单用户本地缓存
• 4、 爬虫用户限流
• 5、 接口、用户维度限流
• 6、 单机接口、用户维度限流限流
• 7、 集群用户维度限流
• 8、 集群接口维度限流

该开源项目战略意义重大，经历百万级并发，参与京东开源中间件项目建设，一直在等你。

界面效果

开源地址:https://gitee.com/jd-platform-opensource/hotkey

Java技术交流群

有不少同学问我，大厂面试官到底喜欢问什么？想进大厂镀金。因此，我特意邀请了华为、腾讯、阿里的朋友进群，与大家一起交流经验，增长技术。

有兴趣入群的同学，可长按扫描下方二维码，一定要备注：城市+昵称+技术方向，根据格式备注，可更快被通过且邀请进群。

▲长按扫描

近期热文推荐

点个在看你最好看