其他
揭秘微信背后万级机器的管理者Yard平台
与此同时,随着 AI 技术的方兴未艾,围绕着微信所开展的机器学习与数据挖掘的离线作业也日渐增多,对内部计算、存储、网络等资源提出了大量的需求,如何充分利用好服务器资源,高效调度各类计算作业,合理编排不同维度的资源组合也是资源调度系统的一个重要目标。
本次演讲话题阐述了微信的资源调度系统 Yard 如何利用容器技术解决在线服务与离线作业混合运行的各种问题挑战,分享微信后台在资源隔离、作业调度、容灾设计等方面的成功实践和思考。
本视频来自微信技术架构部专家工程师文杰在 ArchSummit 的分享,公众号后台回复关键词「微信」下载完整演讲 PPT。
文杰,微信技术架构部专家工程师
2005 年入职腾讯,曾参与主导搜索引擎,分布式存储,分布式计算等多个项目的整体架构。2013 年加入微信,现任技术架构部下大数据平台团队负责人,主导微信两项基础平台:微信资源调度 Yard 平台和微信流量实验 X 平台的研发;在分布式设计,高可用架构,任务调度,搜索引擎,高性能服务,大数据计算等领域有浓厚兴趣和实践经验。
本次大会邀请了 涛思数据 创始人 陶建辉 他将分享《超高性能的时序空间大数据处理平台》这一话题。
物联网、车联网的兴起,所采集的时序空间数据高速增长。一般的大数据解决方案都是 Kafaka + Redis + No SQL + Hadoop/Spark,但这些套件都是用来处理通用的非结构化数据的,因此在处理结构化的时序空间数据时,运行效率就大打折扣,而且因为集成多个组件,开发效率低,运维成本也很高。
2018 年 12 月北京 ArchSummit 全球架构师技术峰会已经启动,目前内容正在策划中,如果您有优质的内容,欢迎提供议题。