饿了么异构服务平台数据访问层的演进
饿了么数据访问层(DAL)基于 IO.Netty 实现的高并发、高吞吐量的 Java 服务,不同于通常前段异步,后端同步的模式,饿了么数据访问层(DAL)在客户端连接和 DB 连接都使用了异步 IO 处理 SQL 请求和结果集。目前集群峰值 SQL 请求量约 10 万/s。
在 QCon 北京 2016 的演讲中,除了作为数据库代理的基本功能,徐东焱主要介绍了 DAL 在大型综合网站中以最小侵入代价对产研开发的支持、为数据库提供主动防护的特性、对网站线上排障的支持,以及在实际应用中所遇到的问题和应对措施。
https://v.qq.com/txp/iframe/player.html?vid=s0327irhi0s&width=500&height=375&auto=0
徐东焱,现为饿了么技术 & 创新中心,框架部数据访问层架构师,曾任爱立信上海研发中心高级开发高程师,eBay 上海研发中心资深开发开程师。以前是 C/C++ 的忠实粉丝,最近比较务实,专注于基于 Java 生态圈的高可用、高并发服务的开发。
在公众号后台回复“数据”,即可下载完整幻灯片。
▽
延展阅读(点击标题):
QCon 上海 2016 将于 10 月 20~22 日在上海宝华万豪酒店举行,届时将有一大波技术专家带来精彩演讲。
Steven Wu(吴震) Netflix 软件工程师
目前在 Real-time Data Infrastructure 组工作,负责的数据流水线是 Netflix 的数据大动脉——传输数据从生产者到消费平台。近期完成了数据流水线从 Chukwa 到 Keystone 的演化。之前在 Cloud Platform 组工作,构建 Netflix 的微服务架构的基石。
Yahoo! Messenger 后台核心开发人员,参与了后台系统的彻底重写,并且支持异地多活数据中心和多台同时登录,独立设计和实现了基于内存的大规模分布式存储系统——用于管理状态的后台系统核心组件。
《打造万亿级别的数据流水线》
Netflix 是一个数据驱动型公司,许多产品决定是基于数据分析得到的洞察。几百个微服务系统每天产生万亿条消息和 PB 级数据,数据流水线负责从生产者到消费平台(如 Hadoop/ElasticSearch/Kafka)传输如此大规模的数据。此演讲将分享我们是如何做到的。
我们首先看看 Netflix 数据流水线过去几年的演化之路,然后深入探讨新的 Keystone 数据流水线的架构和一些设计抉择,分享 Keystone 在实战中遇到的问题和得到的教训,最后浅谈对 Keystone 未来的一些想法。
王富平 苏宁云商 IT 总部大数据中心高级架构师
王富平,苏宁大数据中心高级架构师,历任百度大数据部高级工程师、1号店搜索与精准化部门架构师,一直从事大数据方向研发工作,对大数据工具、机器学习有深刻的认知,在实时计算领域经验丰富,13年基于公司实时处理平台设计开发了 sql on stream 解决方案,此外基于开源 hbase 监控框架 Hanibal 开发 Shield,已贡献在个人主页。
《数据平台实时化实践》
实时化趋势与背景:
Adhoc 等业务场景、在线学习 LTR 等实时需求越来越高;
spark-streaming 与 flink 为代表的批流处理范式统一。
数据平台实时化实践:
苏宁数据平台——“数聚”的整体架构介绍;
druid 打造实时 olap 平台与自研 sql on storm 方案介绍;
离线计算迁移到实时计算:如搜索 ndcg 计算等;
数据实时回流 LTR 改进推荐、搜索排序;
线下与线上数据融合:如摄像头实时采集门店客流数据。
《UX Strategy》作者 & 南加州大学兼职教授 Jaime Levy,Spotify 广告工程技术总监 Kinshuk Mishra,特赞 CTO 黄勇,人人车业务平台总架构师徐章健等技术专家都将在 QCon 上海 2016 做分享,更多信息,可点击“阅读原文”,访问大会日程。现在报名,可享 9 折优惠。