中生代技术广州分享会总结

中生代技术原创稿件

撰稿：刘英双，陈子昂

编辑：王友强

中生代技术线下分享会
广
州

摘要：2016年3月5日，中生代技术-广深在广州市天河区珠江新城华夏路28号富力盈通大厦15楼1512房，汤臣倍健佰悦会议室，举办分享会；本次分享会主题为“酷狗音乐的大数据平台重构”
主讲人：王劲，目前就职于酷狗音乐，大数据架构师，负责酷狗大数据技术规划、建设、应用。 11年的IT从业经验，2年分布式应用开发，3年大数据技术实践经验，主要研究方向流式计算、大数据存储计算、分布式存储系统、NoSQL、搜索引擎等。

背景

近年来，大数据迅速发展成为工业界、学术界甚至世界各国政府高度关注的热点。《自然(Nature)》和《科学(Science)》等杂志相继出版专刊来探讨大数据带来的挑战和机遇。著名管理咨询公司麦肯锡声称，“数据已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于大数据的挖掘和运用，预示着新一波生产力增长和消费者盈余浪潮的到来”。美国政府认为大数据是“未来的新石油”，一个国家拥有数据的规模和运用数据的能力将成为综合国力的重要组成部分，对数据的占有和控制将成为国家间和企业间新的争夺焦点。大数据已成为社会各界关注的新焦点，“大数据时代”已然来临。
大数据在带来挑战的同时，还蕴含着划时代的重大意义。大数据规模庞大、类型多样、关联复杂的特点导致传统全量数据计算模式不再适用，大数据计算面临基本模式的挑战。如何对大数据的复杂性深入解析，并在此基础上构建高效的大数据计算模型，能效优化的大数据分布存储和处理的系统架构，成为大数据处理的核心问题。那么，本次分享会我们邀请到了酷狗音乐大数据架构师王劲来分享与探索解决大数据平台搭建、数据分析、数据挖掘等问题。

分享内容

分享会上，酷狗音乐大数据架构师王劲带来了主题为“酷狗音乐的大数据平台重构”的演讲。演讲中，他分享了大数据的存储与架构体系、多源异构大数据的感知和获取、大数据的清洗及处理、大数据质量控制和大数据架构重构原由及如何克服种种困难等等。

酷狗音乐的大数据平台重构整整经历了一年时间，在这过程中挖过坑，填过坑，在此总结下这一年的工作经验，避免重复踩坑。这是我们此次分享会的真正价值所在的关键。大数据平台是一个庞大的系统工程，整个建设周期很长，设计的生态链很长，主要分享包括：

1大数据的存储与架构体系

（1）多源异构大数据的感知、融合与表示（数据源、数据接入）（2）大数据的融合与质量控制（清除大量的噪音、冗余和错误）（3）计算模型和存储（存储计算）

2多源异构大数据的感知、融合与表示

（1） 数据收集接口众多，且数据格式混乱，基本每个业务都有自己的上报接口（2） 不能汇总上报，消耗客户端资源，以及网络流量（3） 每个接口收集数据项和格式不统一，加大后期数据统计分析难度（4） 各个接口实现质量并不高，存在被刷，泄密等风险

3大数据的融合与质量控制

（1）前端日志，服务端日志，业务系统数据接入（2）数据的清洗，包括清除大量的噪音、冗余和错误（3）有效地解决大数据获取的全面性和一致性，进行严格质量控制

致谢

非常感谢酷狗音乐大数据架构师王劲的精彩演讲，近期王劲与朋友合作出版关于高可用架构的书籍，敬请期待。

关于freshmanTechnology的订阅号回复以下内容：回复"阿拉伯"数字，查看过往微信直播内容回复"深度"，查看「中生代付费交流群」入群方式回复"中生代"，加入中生代微信群，参与每周微信直播

『中生代技术』连接技术大咖的桥梁促进科技技术的交流 微信：freshmanTechnology