查看原文
其他

分布式计算调度系统在百度的实战应用

2016-07-11 孟宪军 QCon

随着业界分布式计算系统的不断演进,数据与计算需求的不断激增,不同分布式计算模型相互割裂、各自为政的格局已经不适应当前大数据的应用场景,如何合理的利用资源,使各个计算模型协调配合稳定运行,是一个底层工程师越来越关注的事情。百度开放云架构师孟宪军,在QCon北京2016上,以百度为例,介绍了分布式系统在百度的实战应用。


孟宪军认为,分布式计算有两个核心问题:


  1. 框架,也可以理解成一个公司分布式计算平台的组织架构。

  2. 调度,包括先验以及后验调度,是保证各个计算模型协同工作的基础。


https://v.qq.com/txp/iframe/player.html?vid=r0311a7vbnj&width=500&height=375&auto=0



作者介绍


孟宪军,百度开放云架构师。多年软件及互联网行业开发经验,10 年加入百度,现任百度分布式计算系统相关方向的架构师。专注于高性能分布式计算(HPC)、HADOOP、分布式计算底层框架的研究等领域。


早年期间,曾将百度 HPC 平台从最初的几百台规模,发展成具有数万台规模的公司第二大分布式计算平台,并首次将双网卡、万兆网卡等技术引入百度高性能计算平台。现在主要专注于分布式系统调度方面的研究。提倡快乐工作,对业界的新技术始终保持很高的热情。


幻灯片

在公众号后台回复“分布式”,即可下载幻灯片。



QCon 上海 2016 将于10月20~22日在上海宝华万豪酒店举行。


Netflix 软件工程师 Steven Wu,届时将分享《打造万亿级别的数据流水线》


Netflix 是一个数据驱动型公司,许多产品决定是基于数据分析得到的洞察。几百个微服务系统每天产生万亿条消息和 PB 级数据,数据流水线负责从生产者到消费平台(如 Hadoop/ElasticSearch/Kafka)传输如此大规模的数据。此演讲将分享我们是如何做到的。


演讲将首先看看 Netflix 数据流水线过去几年之演化之路,然后深入探讨新的 Keystone 数据流水线的架构和一些设计抉择,分享 Keystone 在实战中遇到的问题和得到的教训,最后浅谈对 Keystone 未来的一些想法。


斗象科技联合创始人兼 CTO 张天琪,将分享《构建规模化的企业级风险感知体系》。


由于虚拟化和云计算技术的发展、移动终端设备占有率的不断提升。当前企业的网络边界愈发动态,资产和业务的变更愈加频繁,设备和技术的种类也变得更加复杂多样。


传统安全监控产品大多以合规为导向,检测形式和结果相对单一,不能够为企业决策者提供有力的安全决策依据,很难从实际攻防对抗的角度帮助企业及时发现安全风险。


在本议题中,将提出一种以资产为核心的风险感知模式,通过主动探测与被动分析相结合的方式,持续性的发现企业全网安全风险并形成风险管理的闭环。同时充分利用分布式与集群化的技术,为企业构建规模化的自动风险感知体系。


同程旅游首席架构师王晓波,将分享《同程旅游微服务架构设计实践》。


同程旅游在技术平台升级的过程进行了微服务化实践,在微服务实践的过程中带来许多架构上的挑战,如何要求实际业务拆分微服务,服务的划分粒度,大量的微服务的治理如何处理,如何进行平滑的扩展、熔断、降级等,在多开发语言中如何更好支持各种开发语言组成的微服务群的互相平滑调用,在部署方式如何与容器完美的结合等等。该演讲主要分享同程微服务架构的实践过程中的一些坑事。


Twitter 架构师黄浩,南潮(ruff.io)架构师周爱民,宅米 CTO 李智慧,京东云平台资深架构师鲍永成,OneAPM 安全技术总监刘再耀,点融网 CTO 孔令欣,饿了么前端工程师陈涌(题叶)等技术专家都将在 QCon 上海 2016 做分享,更多信息,可点击“阅读原文”,访问大会网站。现在报名,可享 8 折优惠。


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存