SDCC2016峰会回顾：一线互联网公司大数据技术方案选型
2016年9月22日，CSDN重磅打造的SDCC2016大数据技术与架构实战峰会在杭州隆重举行。紧邻杭州城战火车站的红楼大酒店迎来了200多位大数据技术爱好者，通过一天非常精彩的技术交流，大会促进了业内同行更加深入的交流，也传播了一线互联网公司在大数据技术方案选型，针对不同需求的落地实现相关经验，一天下来可谓是干货满满。
上午共进行了四场分享，分别是唯品会平台架构部姚捷的《大型互联网企业在海量数据下全链路应用监控体系建设》，小米商业产品部宋强的《小米广告大数据与算法实践》，蘑菇街实时计算平台部黄大鹏的《蘑菇街实时数据平台实践》，和饿了么数据架构部倪增光的《饿了么大数据基础架构实践》。
下午的四场分享分别是，有赞大数据团队负责人洪斌带来的《敏捷型数据平台的构建及应用》，游族网络运维开发经理姚仁捷的《基于深度学习的异常检测》，Echo数据组算法工程师陈健的《Echo探索个性化推荐和版权识曲之路》，IN架构师张毅的《支持亿级用户，IN数据服务的架构演进》，亿级万达金融技术专家李呈祥的《Apache Flink在万达金融的实践》。
1、 唯品会姚捷：大型互联网公司海量数据下的应用监控体系建设
为支撑海量数据和新业务压力不断提升的挑战，唯品会服务端有大大小小上千个业务域，也部署了近2万台物理机。同时随着服务化和容器化技术的推广，使得整个生产环境部署架构相当复杂。为了有效对生产环境的应用系统提供360度全方位的监控，唯品会独立研发了应用监控系统Mercury，在系统建设过程中也积累了丰富的经验，例如如何构建企业级的应用监控系统，如何应对TB级别数据的监控，以及如何解决项目过程中遇到的坑等。
在原有监控体系Logview不能满足业务需求时，技术团队调研了行业内相关公司的解决方案，后来考虑到唯品会自身业务系统的复杂性以及与平台已有服务无缝对接等因素技术团队最终选择了自建平台，Mercury实现了完整的全链路监控系统，并实现了采样粒度的高度灵活可配置，以及高峰期非核心指标的采样降级等核心功能，有力地保障了网站大促活动。
监控平台核心架构如下图：
2、小米宋强：小米广告大数据与算法实践
依托于强大的MIUI系统、2亿手机用户和完善的生态链布局，小米在过去几年积累了海量用户数据。本次分享宋强主要介绍了大数据在小米广告平台的典型业务实践，包括点击预估、反作弊、广告主优化、用户体验优化，营销DMP等。具体内容则包括：小米数据资特征全生态多样性，和小米广告支撑的相关业务线（如广告营销，互联网金融，和搜索推荐等）；小米效果类广告优化实践，个性化算法对应用分发和信息流广告数倍收入的提升；小米品牌类广告优化实践：如何利用大数据和精准用户画像帮助品牌广告主提高营销效率；小米工具类广告变现实践：如何通过大数据和机器学习，提升收益的同时优化用户体验等。
在广告系统核心的特征工程相关经验总结时，宋强强调业务相关的用户行为特征一般来说最有参考价值，应保持数据的“原汁原味”，经过二次加工反而容易丢失数据，以及使用组合特征才能发挥大数据最大威力。在总结算法模型时，宋强认为线性模型加组合特征一般效果都很好，并进一步预测未来的方向是线性模型加深度模型组合使用。
3、蘑菇街黄大鹏：蘑菇街实时数据平台实践
蘑菇街的实时数据平台服务于业务数据监控、广告自然排序、系统分析等多个业务领域，团队在整个实时数据平台建设中积累了丰富的经验，比如多种关键技术的选型与二次开发，含MySQL、ES、Storm、Esper、HBase、Spark等开源产品选型，并针对不同的需求进行组合使用，与此同时作为一个数据仓库，数据的治理，业务的梳理以及底层技术都同样重要，三者缺一不可。大鹏这次分享的主要内容还包括蘑菇街实时计算平台Mario，数据链路的治理和不同的应用场景的介绍等。
4、饿了么倪增光：饿了么大数据基础架构实践
饿了么数据架构作为数据运营的基础部门，从2015年成立到现在经历了快速的发展，系统规模经历了几十倍的增长，这次分享倪增光主要介绍了”饿了么”数据架构在离线、实时和工具方面的建设经验。相关架构图如下：
5、游族网络姚仁捷：Machine Learning in Anomaly Detection
发现问题、解决问题是运维永恒不变的两个主题，而如何发现问题是其中的难点和重点。运维收集的数据可能数以百万计，如何从其中快速、准确的发现异常是一个难题。
本次演讲主要分三个部分，首先从抽象、一般化的角度介绍异常本身以及异常检测的定义。然后从“静态阈值法”存在的问题开始，介绍多种异常检测的算法和实现，希望能通过更数学的方式，让大家对目前流行的几种异常检测方法的优缺点有所了解。最后一部分着重了介绍使用机器学习的方法，介绍一些对异常检测有很大提升的算法，通过真实数据和例子，演示机器学习对于异常检测的帮助。分享过程中分享人特别强调人在大数据分析和深度学习算法实践过程中不可替代的作用，比如如何划分模式窗口，如何建模定义异常等都需要运维人员根据情况灵活处理，整个分享让大家见识了数学理论在运维过程中的应用之美。
6、有赞洪斌：有赞大数据实践之敏捷型数据平台的构建及其应用
本次演讲洪斌首先介绍了有赞数据平台的设计思路和方法，阐述了为什么要设计数据仓库，数据仓库如何适应业务的快速变化，以及在数据的易用性方面有赞都采用了哪些措施等。其次洪斌还介绍了构建在数据仓库上的BI系统及其应用，以及大数据平台在搜索引擎方面的实践经验等。在洪斌的演讲中我们看到了一个接地气，在数据运营和研发效率上都能发挥作用的大数据平台。
7、Echo陈健：Echo探索个性化推荐和版权识曲之路
本次分享陈健介绍了Echo回声App利用用户的播放、喜欢、分享、下载等行为隐式数据，并通过logistic matrix factorization模型的计算，获取到用户的特征向量和音乐特征向量的方法。同时陈健还分享了业务为了检测用户上传的歌曲是否属于未收录版权的歌曲的方法，通过分析音乐音频，进而进行频谱变换，特征学习来生成对应的音频指纹，最后根据音频指纹来判断用户上传歌曲是否侵权的相关工作等，以前也听过网易云音乐类似方面的算法介绍，感觉把大学里线性代数矩阵论都应用到了极致，傅里叶变换把时域信号分解为不同振幅不同频率的正弦波，也是把语音通信技术灵活地用于解决互联网产品实际问题，对音视频编解码和语音识别的同学应该会很有收获。
8、IN张毅：IN数据服务架构演进
张毅在分享中介绍了IN业务从初创到支持亿级用户, 从单点服务到高可用集群服务, 从简单CRUD到融合实时大数据挖掘推荐过程中数据服务的演变过程, 以及这过程中团队积累的经验和教训。
9、万达金融李呈祥：Apache Flink在万达金融的实践
Apache Flink是开源社区最近两年发展非常迅速的一个分布式计算框架，其在时间窗口，唯一消息处理等功能特性，以及延迟，吞吐量等性能方面都在众多的流计算框架中独树一帜。本次分享李呈祥主要为大家介绍了：万达金融大数据部门基于Apache Flink支撑的各种业务类型，万达金融在流式计算选型时为何最终选择了Aapche Flink，以及在使用维护中遇到过的问题等。
李呈祥介绍了在万达金融三个主要业务的需求之后，分析了这些需求对应技术选型的要求，并比较了三种流式计算Storm/Flink/Spark Stream各自的特点，进而做出的合理选型。另外李呈祥还介绍了使用过程中遇到的问题，如资源管理模块中的JOB隔离不彻底，一个JOB异常互相影响，以及JOB版本依赖冲突等。