每周一本书 | 《大数据处理之道》:大数据处理技术哪家强?
大数据处理技术哪家强?《大数据处理之道》几乎涵盖了目前几乎所有的大数据处理热门技术,并且对这些技术进行了横向对比,分析了各个技术的应用场景。对大数据处理初学者和大数据行业应用人员有很好的指导作用
来源:数据猿 作者:jean
今天给大家分享的书是《大数据处理之道》,罢特,小编今儿心情好,先赠送小故事一则:
话说Netfix(一个在线影片租赁公司)为了服务好自己的“上帝”,专门搞了一个Netflix大奖赛,目的在于预测Netflix的客户分别喜欢什么影片,要求把预测的准确度提高10%以上,来为用户推荐最适合的影片。(大赛奖金100万美金)
一时间,IT界掀起了一波风浪,引无数程序员竞折腰。有个叫Lester的博士生看见悬赏后,马上撸起袖子要试一把,他直接奔着当时业界已经很流行的Hadoop MapReduce去钻研。未果,因为精力都浪费在MapReduce的编程模型和低效的执行模式上,而不是如何提高效率上。
而100万美金就在那儿诱惑。。百思不得其解后,他直接找到好哥们儿Matei(Matei,Hadoop的重要贡献者之一)。两人一拍即合,一起分析了Hadoop MapReduce在此应用上的乏力之处,吸其精华,改其不足,定制化的输出了区区几百行代码,满足了Lester可以高效率的分布式建模的愿望。 Spark最初的版本就这样诞生了……
简言之,Hadoop作为处理界的老大哥,一直独享企业恩宠~奈何大数据发展太快,单凭Hadoop已经很难满足金主们的需求了,于是spark就踩着Hadoop的肩膀成功“上位”了……
而现在,市面上流行的大数据处理技术已经有数十种了,从最初的Hadoop到Spark,再到Storm,到底哪个战斗力更强?谁会是被拍死在沙滩上的那一个?
《大数据处理之道》几乎涵盖了目前几乎所有的大数据处理热门技术,并且作者用幽默诙谐的方式对这些技术进行了横向对比,分析了各个技术的应用场景。对大数据处理初学者和大数据行业应用人员有很好的指导作用。
第一部分,作者横向总结性阐述了各种大数据处理技术,重点从缘起缘落、设计思想、构架原理等角度剖析了各种技术,分析了各个技术的优缺点和适用场景。
第二部分,主要阐述了大数据场景下的日志分析技术。在大数据时代,日志分析方案也呈现出了遍地开花的景象。如果将大数据处理系统比作一个可能得病的人,日志分析就是负责看病的医生,要想让大数据处理健康平稳,日志分析和监控非常重要。(重点阐述了日志处理技术中的最如日中天的方案:ELK)
第三部门,展望了大数据处理技术的发展趋势,大数据处理技术发展太快,数据量也将会越来越大,技术的革新也将在所难免。
本书目录:
0“疯狂”的大数据 1
第1篇 Hadoop军营
1 Hadoop一石激起千层浪 7
2 MapReduce奠定基石 14
3 分布式文件系统 49
4 Hadoop体系的“四剑客” 63
5 Hadoop资源管理与调度 110
6 Hadoop集群管理之道 129
第2篇 Spark星火燎原
7 Spark宝刀出鞘 141
8 Spark核心RDD 153
9 Spark运行模式和流程 167
10 Shark和Spark SQL 183
11 Spark Streaming流数据处理新贵 193
12 Spark GraphX图计算系统 201
13 Spark Cluster管理 212
第3篇 其他大数据处理技术
14 专为流数据而生的Storm 218
15 Dremel和Drill 228
第4篇 大数据下的日志分析系统
16 日志分析解决方案 236
17 ELK集群部署与应用 256
第5篇 数据分析技术前景展望
18 大数据处理的思考与展望 266
作者简介:
何金池,IBM高级软件工程师,主要从事高性能计算和大数据领域研发工作,熟悉目前大数据处理领域的各项热门技术,擅长于大数据环境下的日志分析和处理,具有多年的一线软件研发测试经验。
推荐阅读:
【每周一本书】之《R语言预测实战》:预测很有趣,算法却未必枯燥
【每周一本书】之《能源大数据》:如何在能源管理中应用好大数据技术?
【每周一本书】之《智慧城市》:大数据、物联网和云计算在智慧城市中扮演的角色
点击查看更多大数据书籍……
本书由 数据猿联合电子工业出版社 共同推荐,购买地址:http://item.jd.com/10704512814.html
【本栏目合作伙伴】:清华大学出版社、电子工业出版社。
欢迎更多合作伙伴加入!也欢迎勾搭小编,微信:15737954328,备注“书”
来源:数据猿