查看原文
其他

Spark在360的实践及经验分享

2016-07-12 李远策 QCon

Spark 平台作为新一代分布式计算平台在过去的两年中得到了飞速的发展,各大公司也逐渐将其引入到实际业务中来。奇虎 360 自 2015 年以来正式上线 Spark 平台,并在公司的搜索、安全、数据分析等业务线得到广泛的应用。


本文为奇虎 360 技术经理李远策,在 QCon 北京 2016 上的演讲,本次演讲围绕 Spark 在公司内的实践,包括以下主要内容:


  1. Spark 平台及发展介绍;

  2. Spark 平台在 360 的应用介绍(包括搜索、安全、数据分析等业务的使用案例);

  3. Spark 实践过程中的经验分享。


https://v.qq.com/txp/iframe/player.html?vid=y0311g324z7&width=500&height=375&auto=0


作者介绍


李远策,奇虎 360 技术经理。2013 年加入奇虎 360,先后参与公司 Hadoop、Spark 等大数据平台的建设,历经公司 Hadoop 平台高速发展及 Spark 平台从无到大规模实践的过程。工作中专注于解决平台中的各种 Bug 及用户遇到的各类问题,爱好开源,乐于学习和分享。目前主要关注 Spark、大规模机器学习/深度学习等领域。


幻灯片


在公众号后台回复“Spark”,即可下载完整幻灯片。



QCon 上海 2016 将于10月20~22日在上海宝华万豪酒店举行。


Netflix 软件工程师 Steven Wu,届时将分享《打造万亿级别的数据流水线》


Netflix 是一个数据驱动型公司,许多产品决定是基于数据分析得到的洞察。几百个微服务系统每天产生万亿条消息和 PB 级数据,数据流水线负责从生产者到消费平台(如 Hadoop / ElasticSearch / Kafka)传输如此大规模的数据。此演讲将分享我们是如何做到的。


演讲将首先看看 Netflix 数据流水线过去几年之演化之路,然后深入探讨新的 Keystone 数据流水线的架构和一些设计抉择,分享 Keystone 在实战中遇到的问题和得到的教训,最后浅谈对 Keystone 未来的一些想法。


永源中间件联合创始人张建锋,将分享《Java 模块化技术演进和对现有应用微服务化的意义》。


Java 模块化技术不是一项全新的技术,它已经伴随着 OSGi 技术,在企业领域应用数十年了。但对于 JDK 而言,模块化确实是一项新技术。这项特性从 JDK7 一直推迟到 JDK9 才被加入,Java 语言的模块真正实现了标准化。


OSGi 模块化是如何定义的。尽管其设计非常优秀,但为什么没有能够广泛的被使用?对于应用服务器设计而言,模块化也非常重要,JBossModule 项目作为 JBoss 应用服务器的核心模块,起到关键的作用,在真实的企业应用环境中又遇到哪些具体的问题。JDK9 划分为多个模块,各个模块之间存在引用关系。良好的模块定义,使得庞大的 JDK 变得结构非常清晰。


微服务设计时,模块化看似不再那么重要,微服务以进程隔离,单一应用使用的 jar 的数目减少了很多。但事实上从全局来看,微服务体系需要更加严谨的包管理机制和组件选取策略,模块化反而更重要。配合构建工具的使用,来创建更好更稳定的微服务应用。同时,模块化和容器技术可以很好的配合使用,使整体架构设计更清晰,应用也更高效和安全稳定。


同程旅游首席架构师王晓波,将分享《同程旅游微服务架构设计实践》。


同程旅游在技术平台升级的过程进行了微服务化实践,在微服务实践的过程中带来许多架构上的挑战,如何要求实际业务拆分微服务,服务的划分粒度,大量的微服务的治理如何处理,如何进行平滑的扩展、熔断、降级等,在多开发语言中如何更好支持各种开发语言组成的微服务群的互相平滑调用,在部署方式如何与容器完美的结合等等。该演讲主要分享同程微服务架构的实践过程中的一些坑事。


Twitter 架构师黄浩,南潮(ruff.io)架构师周爱民,宅米 CTO 李智慧,京东云平台资深架构师鲍永成,OneAPM 安全技术总监刘再耀,点融网 CTO 孔令欣,饿了么前端工程师陈涌(题叶)等技术专家都将在 QCon 上海 2016 做分享,更多信息,可点击“阅读原文”,访问大会网站。现在报名,可享 8 折优惠。


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存