【大数据专栏】查礼：大数据与企业计算
【这是“大数据专栏”的推送文章，本专栏由中关村大数据产业联盟与科技杂谈合作提供】
文 / 查礼，本文为查礼在中关村大数据产业联盟“大数据100分”论坛上的交流探讨实录
主讲嘉宾：查礼
主持人：中关村大数据产业联盟副秘书长陈新河
承办：中关村大数据产业联盟
嘉宾介绍：
查礼，2003年博士毕业进入中科院计算所以来一直从事分布式系统的研发工作。作为课题负责人承担过多项国家863重大专项、863国际合作、发改委专项和欧盟第六框架（FP6）国际合作课题。承担863“中国云”一期和二期的大数据计算技术和系统平台研发等课题。曾担任国家863计划“中国国家网格软件研究与开发”课题的技术总负责人，负责CNGridGOSv3和v4的体系结构和核心实现，领导研发的网格操作系统（GOS）部署在地理分布的12个网格结点上，支持了中国国家网格的建设。CNGridGOS支持单一系统映像（SSI）和单点登录（SSO）特性，支持分布式计算和存储资源的共享，并为最终用户访问资源提供友好的接口。自2008年开始，领导研究小组与ApacheHadoop开源社区合作，向ApacheHive开源项目贡献了“行列混合式存储结构”—RCFile技术和实现代码，该技术已被Facebook、阿里巴巴等公司采用。作为“互补式聚簇索引技术”--CCIndex的发明人之一，将该技术应用到淘宝网的“数据魔方”产品中，用以支持实时多维区间查询。作为“HadoopinChina”（现已更名为中国大数据技术大会）大会的发起人和大会主席，该一年一度的会议自2008年举办以来，已成为专注于大数据相关技术方向国内最大的技术大会。本人的研究兴趣包括大规模分布式资源管理，大数据存储和处理关键技术与系统，以及分布式系统性能优化等。相关成果已发表高质量论文数十篇，获得授权专利2项，获得国家科技进步奖2项（2007、2012）。
以下为分享实景全文：
今天想跟各位朋友探讨的题目是“大数据与企业计算”
三个部分内容：
一﹑大数据技术发展趋势；
二﹑开源大数据软件分析；
三﹑企业计算如何利用开源大数据软件
一、大数据技术发展趋势
近年来，越来越多的国内外互联网公司和传统企业都已意识到数据资产化和规模化带来的潜在价值，如何低成本且高效率地存储和处理数百TB乃至EB量级的数据成为极大挑战；企业中原本由IT部门主导的自下而上的技术演进变成了由业务和应用主导的自上而下的需求压力，“向数据要价值”使得几乎每个行业都面临着大数据问题。“大数据”引发了新一轮IT工业革命。
在大数据应用场景中，传统关系型数据库既支持分析又支持事务不再胜任。在关系模型阵营中，以MPP为代表的NewSQL支持SQL并且支持事务，增强了关系模型下的数据处理能力；在非关系模型阵营，以Hadoop为代表的查询与数据分析软件系统则不以支持SQL和事务为目标，以采用大量低成本硬件进行数据处理见长。两者目前有相互借鉴相互融合趋势。此外，数据库开始分化为事务类数据库和分析类数据库。
内存与CPU间的带宽是SSD的10倍以上，是机械硬盘的40倍以上，目前物理内存潜力还远没有被挖掘出来。根据摩尔定律，每18个月内存容量将翻一番，每36个月，内存与CPU间的带宽将翻一番。可以想见，对于高并发低延迟的大数据应用来说，未来基于全内存的大数据计算技术是解决该问题的可行方向之一。
查礼:个人观点，大数据技术和应用的发展趋势可以归纳为以下三点。
1)大数据技术生态环境范围扩大；
2)实时和精准要素更为应用重视；
3)面向系统能效潜力挖掘的差异化技术发展成为重点。
1)大数据技术生态环境范围扩大。克隆了Google的GFS和MapReduce的ApacheHadoop自2008年以来逐渐为互联网企业接纳，并成为大数据处理领域的事实标准。但2013年出现的Spark作为一匹黑马可以说终结了这一神话，大数据技术不再一家独大。由于应用不同导致Hadoop一套软件系统不可能满足所有需求，在全面兼容Hadoop的基础上，Spark通过更多的利用内存处理大幅提高系统性能。此外，Scribe、Flume、Kafka、Storm、Drill、Impala、TEZ/Stinger、Presto、Spark/Shark等的出现并不是取代Hadoop，而是扩大了大数据技术生态环境，促使生态环境向良性和完整发展。今后在非易失存储层次、网络通信层次、易失存储层次和计算框架层次还会出现更多、更好和更专用化的软件系统。
2)实时和精准要素更为应用重视。在全球互联网企业的努力下，Hadoop已经可以处理百PB级的数据，在不考虑时间维度的前提下，价值密度低的数据可以处理了。在解决了传统关系型数据库技术无法处理如此量级的数据之后，业界正在向速度和准确度两个方向要价值。换句话说，如何从大数据中获取更大回报成为业界新的挑战。互联网服务强调用户体验，原本做不到实时的应用在向实时化靠拢，比如前端系统及业务日志从产生到收集入库的延迟从1到2天时间进化到10秒以内。传统企业无法忍受关系数据库动辄几十分钟的查询分析性能，纷纷求助于性价比更好的技术和产品。这些需求使大数据交互式查询分析、流式计算、内存计算成为业界研发和应用的新方向。在实时计算、机器学习和深度学习等技术的支撑下，个性化推荐已经开始从简单的商品推荐走向复杂的内容推荐。根据用户的特性与偏好，推荐内容的特征，以及当时的上下文数据（客户端设备类型、用户所处时空数据等），向特定用户提供个性化的内容推荐服务，内容包括商品（包括电商和零售）、广告、新闻和资讯等。在移动设备和移动互联网飞速发展的时代，个性化推荐将成为用户获取信息最直接的渠道之一。
3)面向系统能效潜力挖掘的差异化技术发展成为重点。今后几年的大数据技术走向将是更高效的系统和更差异化的技术。系统能效将会是业界关注的重点。比如百度云存储万台定制ARM服务器就是典型案例，节电约25%，存储密度提升70%，每瓦特计算能力提升34倍（用GPU取代CPU计算），近10个月以来每GB存储成本降低50%。差异化的技术指的是更加专用的技术，一个系统可能只针对问题的某一个方面，一个问题的解决可能会依赖若干个系统和软件。比如Hadoop将逐渐成为取代磁带库的成熟技术，而直接对接应用的可能会是并行数据库和内存数据库。又如并行数据库更鲜明的分化为面向事务处理的Transaction类数据库和面向分析的Analysis类数据库等。
二、开源大数据软件分析
RAID技术通过聚合磁盘I/O使得数据库性能和数据可靠性得以进一步提升。但成本高昂，扩展性差的痼疾使之让位于后起之秀ApacheHadoop这一低成本，扩展性极好的大数据处理工具。2006年诞生的Hadoop可归类为无共享并行数据库系统，同时，Hadoop也引领了数据库从事务（Transaction）与分析（Analysis）型数据库合一到事务与分析型数据库分离的发展趋势。如今，Hadoop已经成为互联网企业进行大数据存储、管理和分析的标准配置。而且，借助开源社区众包的力量，Hadoop已经形成完整而成熟的软件生态环境，其主要组成部分简介如下。
HDFS：以块数据为单位存储并具有副本机制的分布式文件系统
MapReduce：分布式数据处理模式和执行环境
Hive：分布式数据仓库，用于管理HDFS中存储的数据，并提供基于SQL的查询语言（由运行时解释引擎转换为MapReduce作业）用以查询数据
Mahout：其主要目标是构建可扩展的机器学习算法库，目前主要支持三种类型用例，推荐、聚类和分类。
?Pig：一种运行在MapReduce和HDFS的集群上的高层（HighLevel）数据流语言和运行环境，用以检索海量数据集
Oozie：一个对Hadoop上运行作业进行管理的工作流调度器系统。Oozie工作流是放置在DAG（有向无环图DirectAcyclicGraph）中的一组动作（例如，Hadoop的Map/Reduce作业、Pig作业等），其中指定了动作执行的顺序。使用hPDL（一种XML流程定义语言）来描述DAG。
HBase：一个分布式列存储数据库，使用HDFS作为底层存储，同时支持MapReduce的批式计算和点查询（随机读取）。
ZooKeeper：一个分布式高可用的协同服务，提供分布式锁相关的基本服务，用于支持分布式应用的构建。
Flume：一个高性能的日志收集系统，具有分布式、高可靠、高可用等特点，支持对海量日志采集、聚合和传输。Flume支持在日志系统中定制各类数据发送端，同时，Flume提供对数据的简单处理，并具有分发到各数据接收端的能力。
Sqoop：一个可将Hadoop和关系型数据库中的数据相互迁移的工具。可将关系数据库（例如：MySQL、Oracle、Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到指定的关系数据库中。
Ambari：一个基于Web的Hadoop机群管理和监控工具。Ambari目前已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、HBase、Zookeeper、Sqoop和Hcatalog等
ApacheSpark由加州大学伯克利分校AMP实验室(Algorithms,Machines,andPeopleLab)于2011年启动研发的分布式大数据计算软件栈。Spark比Hadoop优越的地方在于可以支持多种类型负载。换句话说，Spark可以同时支持批式、流式、迭代和实时这四种大数据计算模式。
Spark的核心技术和创新在于引入名为弹性分布式数据集(ResilientDistributedDataset，RDD)的系统抽象。RDD是分布在一组节点中的只读对象集合。对RDD有两种类型的操作，即转换操作(Transformations)和行动操作(Actions)，不像Hadoop只提供了Map和Reduce两种计算方式。转换操作包括map、filter、flatMap、sample,、groupByKey、reduceByKey,、union、join、cogroup、mapValues、sort、partionBy等；行动操作包括count、collect、reduce、lookup、save等。因为RDD是只读的，转换操作会生成一个新的RDD，但并不是立即执行这个计算，只有遇到行动操作的时候才会真正进行计算。这种设计使得Spark可以更加高效的运行。
Spark使用Scala开发，默认使用Scala作为编程语言。编写Spark程序比编写HadoopMapReduce程序要简单的多，写Spark程序的一般步骤就是创建或使用(SparkContext)实例，使用SparkContext创建RDD，然后就是对RDD进行转换操作或行动操作。Spark中的应用程序称为驱动程序，可以在单节点上或机群上执行。对于机群执行，Spark依赖于Mesos资源管理器。Mesos为上层应用提供了必要的分布式资源管理与调度功能。
Spark与Hadoop具有很多相似和相融之处，比如两者均可定位为面向大数据的分布式计算系统，Spark目前还依赖Hadoop中的HDFS作为数据存储等。个人观点，Spark目前还无法脱离Hadoop生态环境单飞，而且应该更专注于自己的强项，即迭代计算和内存优化方面。
这两个已经形成生态系统的开源软件，尤其是Hadoop，目前在互联网、电信运营、网络安全等行业广为应用，已经成为大数据计算工具的代名词。
三企业计算如何利用开源大数据软件
大数据处理虽然源于互联网企业，但是传统企业中保有的结构化数据更多，数据价值密度有可能更大，更容易产生新的应用。面向领域和行业的大数据计算市场方兴未艾！
企业计算领域的大数据技术体系则应遵循“混搭”原则，即源于互联网公司的开源软件产品与企业计算中的成熟关系模型产品按需搭配。除了传统的事务型数据库的应用场景非常明确外，一些新兴的、基于关系模型的分析型数据库的应用场景集中在，存储高度聚合且高价值数据，并面向最终用户的稳定的、可靠性高的企业级数据服务，适用于复杂数据关联加工及分析密集型数据服务；而Hadoop集群的应用场景集中在，不同类型（结构化、半结构化和非结构化）低价值密度数据（原始数据）的可扩展、高可靠、低成本存储，以及它们的流水线式批量化处理，如ETL过程等。
个人观点，面向企业计算，尤其是中国市场，应该采用软硬件一体化的方式，应该能够与基于关系模型的软件无缝对接。在中科院计算所程学旗主任的领导下，我们的团队在开源版本的HBase基础上，集成独有的CCIndex/IRIndex技术、服务端聚集计算技术、SQL解析/执行引擎、硬件加速技术，以及大量的系统优化手段，形成增强了多列区间查询性能的ICTBase软件，并研制了天玑软硬件一体机。
目前ICTBase以及内含关键技术已经有很多非互联网应用案例，用户看中的主要有三点。1、性能好；2、使用门槛低；3、性价比高。
上面的内容就不重复了。近来参加一些大数据应用研讨活动，“传统应用怎样改造成大数据应用？”这个问题我也思考了很久。个人观点，在传统应用中引入massuser或者massthing的数据是转化为大数据应用的一般途径。比如，个人信用评级应用，在传统信用打分的基础上引入了用户的相关行为数据；比如，电信运营商的BI及营销应用中，引入了网络侧的信令数据和用户上网数据；比如，国家电网中的用电信息分析应用中，引入了需求侧的用户用电数据等。这些应用都是现实应用例证。欢迎大家拍砖。
最后广告一下，2014年中国大数据技术大会（BDTC2014）正在筹备，今年的主题将围绕“应用和产业背景下的大数据技术发展”，欢迎大家积极参与，如果想在会上分享请跟我联系！我想介绍的内容就这些了，谢谢大家！
互动交流：
杨静lillian:
请问中国计算机学会大数据学术会议与大数据技术会议有何区别？内容不同还是定位不同？
DowsonLiu(刘睿民):
@查礼对于spark能做到的事务，你们的实践觉得是否能像teradata那样处理复杂查询
查礼:
dowsonliu，关系模型还是MPP靠谱，Hadoop和Spark/Shark还有很大差距
查礼:
杨静老师，两个会议一个偏学术，一个偏技术，两个会一起开是希望研究界和工业界能够有所碰撞而产生火花
查礼:
dowsonliu，Hadoop目前应该对应到价值密度最低的那层数据处理上，因为它成本低
DowsonLiu(刘睿民):
@查礼那你们还是要通过ETL来整理数据变成半结构或结构话，再做进一步的处理
查礼:
dowsonliu，Hadoop用来做低价值海量数据的ETL再好不过了
YH@Peng:
@查礼?会议安排的好！
查礼:
ETL本身就是处理结构化数据的
查礼:
谢谢，YH@PENG
查礼:
非结构化数据处理就只能casebycase的做了
查礼:
dowsonliu，我的观点是数据按照价值分的话是个金字塔，金字塔每层有可能采用不同的技术来处理，显然最低层应该采用Hadoop或者Spark，中层应该用MPP或者Oracle，上层可能会是内存库之类
Microwise:
好的，我看完了，暂时还提不出来问题我特别赞同查老师的那个观点：spark、storm等的出现，不是为了挑战hadoop或者与其竞争，而是丰富了大数据系统的生态
Microwise：
现在有专门做spark的创业公司吗？好像mesos的不久前冒出来一个
董建:
数据价值金字塔理论非常好，也非常重要。现在国人总是拿Hadoop来说事，作为大数据的代名词去忽悠一切跟数据（现在都在说是大数据了）相关的业务，反而把一个好产品给糟蹋了。合适的地方选择合适的技术。现在Spark出来了，就开始拿Spark去鄙视还在玩Hadoop的。
查礼:
@Microwisedatabricks
DowsonLiu(刘睿民):
@追逐自由说的不错。的确需要正视听，正概念！
C陈新河电子一所:
再次感谢查礼的精彩分享！大家自由讨论吧！
Microwise:
@查礼?thx！
查礼:
@DowsonLiu(刘睿民)因为搞互联网的不太懂搞企业计算的，反之亦然。两者结合才是正途
追逐自由:
@查礼一直知道你是Hadoop圈里的名人，所以我在尝试纠正这个市场的错误的时候，挺希望听到Hadoop圈子里的重量级的人的意见，尤其是反驳意见，以明得失。今天你的观点很让人信服，也很欣慰。
查礼:
@C陈新河电子一所多谢新河的组织，辛苦了！希望与各位朋友多交流，有问题随时探讨。谢谢大家的时间！
追逐自由:
@查礼你说的非常对，现在就是因为玩互联网业务的人给做企业应用的人瞎出主意，在不了解的前提下全盘否定。当然最恐怖的是对互联网业务其实不熟的人，听了点互联网业务的风声来出主意的。我听到的离谱的基于Hadoop的企业方案太多了。
皇上:
@追逐自由不靠谱的？能否介绍一二？
查礼:
@追逐自由没错，这种支招我也见过的
DowsonLiu(刘睿民):
@追逐自由你说的这些正是我想说的，太对的！
追逐自由:
@皇上比如拿Hadoop替代数据库的，我滴个亲娘
皇上:
这个还是很有想象力的，我没料到
追逐自由:
我天天做分布式数据库，数据库分布了以后，还要保持以前的所有行为和语义，复杂程度可想而知，有了Hadoop就可以天然解决了？那我们天天日出而作日出而息都哭死了
数音堂-楚人怀玉:
替代。。。
DowsonLiu(刘睿民):
@皇上太多互联网的人那么在喷了，不意外
追逐自由:
很多人的感觉就是Hadoop就是一个免费的、低成本的、可无限扩容的数据库。其实无限扩容对他们并不重要，低成本是用来忽悠客户的，免费才是他们最在意的。
查礼:
@追逐自由没有免费午餐的，用好hadoop也是要花钱的
皇上:
免费的才是最贵的，表面上不需要支付额外授权或购买高性能服务器，但是需要运转好这样的系统，附属成本却很少被人考虑，如果规模不够大，单纯人力资源的投入，甚至要去买商业服务还要贵。
查礼:
@追逐自由没有免费午餐的，用好hadoop也是要花钱的
皇上:
免费的才是最贵的，表面上不需要支付额外授权或购买高性能服务器，但是需要运转好这样的系统，附属成本却很少被人考虑，如果规模不够大，单纯人力资源的投入，甚至要去买商业服务还要贵。
查礼:
企业是养不起互联网公司里的技术牛人的，传统企业需要的是交付和运管
追逐自由:
Hadoop的免费，尤其是它的Apachelicense毁了一堆人
追逐自由:
做企业应用的，谁会关心客户的运维，先卖给客户产品再说吧，很多客户其实也不运维
查礼:
需要时间沉淀
杨静lillian:
@查礼?两个会一起开，是指报一个会可兼听两个会？
查礼:
@追逐自由单机应用还好，几十节点的运管能力对用户来说很重要
查礼:
@杨静lillian只某些报告共享，具体方案尚未确定
Microwise:
好像@董健-大数据平台?说的对hadoop的这个误解养活了很多靠hadoop起家的小公司
追逐自由:
单节点对Hadoop就失去意义了，而且Hadoop本身其实是个编程框架加上一个分布式文件系统，理论上是需要二次开发来满足各种需求，很多厂商和集成商直接把Hadoop卖给终端客户，这不扯么？
查礼:
@Microwise是啊
查礼:
@追逐自由国外是这样的，国内市场这样玩法不work
皇上:
二次开发需要很强的业务应用支撑，同时也需要相应的人才支撑，对于我们这类的企业来说，基础的应用还需要探索，而对于人才的追求，与互联网巨头很难竞争。
追逐自由:
客户被忽悠完了，发现不对，被忽悠成购买企业版Hadoop即可，于是所有厂商都说自己的是企业版Hadoop，所以可以卖license。而且现在很多集成商还在卖Intel的Hadoop发行版这事是不是更不靠谱？
查礼:
@皇上尽量不要在软件本身花力气，找应用和商业模式优先
查礼:
@追逐自由idh已经不再开发了
追逐自由:
是啊，我刚看到一个投标书写的是用Intel的，我心想这雷也太大了吧
Microwise:
intel不做发行版了？
皇上:
@查礼是的，我们也在探索，当初是突然被高层丢一个hadoop过来，还给安排技术咨询公司培训，然后发现除了开过两次会，就几乎再也没有了联系。
DowsonLiu(刘睿民):
@Microwise年初就宣布不做了
追逐自由:
很多人选择用Hadoop解决所有能跟数据扯上边的问题，当Hadoop解决不了这个问题，要么你争取能变成能影响Hadoop方向的人或者公司，要么你自己折腾一个类似Spark的事情。结果都不，硬靠。关键说自己的方案基于Hadoop显得高大上一样
皇上:
正好我也遇到了一些实际问题，一边摸索一边学习，也正在努力希望将一些业务能够构建在这个平台上，能够更加高效的帮助我们解决一些实际问题。
追逐自由:
不靠谱的是现在很多项目，甭管相关部相关，标书已经开始明确写Hadoop了，要命
Microwise:
倒也是，intel的软件业务一般都是围绕芯片业务开展的，所以IDE、library、编译器这些东西做得比较好。hadoop里面很难做一些和芯片相关的事情吧？
追逐自由:
@皇上大家都被Google的成功，FB的成功，BAT的成功给感染了，于是觉得自己都成了他们，要做一样的事情，用一样的方法。其实很多起步规模小的互联网公司，这样做都是不靠谱的，更不要说企业应用。所以我们可以设想很多能够拿到投资的互联网公司面临换CTO的纠结中
追逐自由:
都用大互联网公司的玩法，又没有大互联网公司的资金，国内的大互联网公司现在给钱又都吓死人，可想而知创业公司的处境
皇上:
不同的系统确实适合不同的业务应用
皇上:
是，挖我的人都直接double，搞的我很无奈
innovate511:
@追逐自由为啥要学大互联网公司而不专注于自己的业务呢？
追逐自由:
@innovate511都需要解决问题啊，刚出校门的CTO只有满腔热情（有的连热情也是被忽悠出来的），一想到要做大事业，怎么也得研究最流行的技术，不用Hadoop觉得都不是互联网
胥正川:
其实互联网界很残酷，不是九死一生，而是死999，成1家，只不过大家眼睛都盯着成功的几家而已。
innovate511:
Cto是一回事，决策权更大的ceo干嘛去了呢？
查礼:
@Microwiseintelipp库能利用mmx指令集加速encode.decode
皇上:
cto都不是技术和业务的跨界人才，很难要求ceo对这个有多深的了解
追逐自由:
刚起步的公司，CEO有决策权有什么用？请的起人么？
杨静lillian:
@查礼?期待进一步消息。
innovate511:
@皇上我看不少成功的互联网中型企业，ceo要么技术高手，要么很难搞到钱
追逐自由:
@Microwise不是跟芯片的关系，如果做Hadoop发行版，自己对Hadoop的发展方向没有很大影响力，会有很多的问题。Intel应该有这方面的考虑
追逐自由:
@Microwise不是跟芯片的关系，如果做Hadoop发行版，自己对Hadoop的发展方向没有很大影响力，会有很多的问题。Intel应该有这方面的考虑
查礼:
@杨静lillian好的，确定后会公布出来的
innovate511:
@追逐自由做很多业务不需要多高级人才，特别toc的业务，自己不会草根玩法，怪谁？
追逐自由:
@innovate511CEO也很难是高手，高手很少的，高手选择很多的，于是选择创业的就更少了，选择这个方向需要对市场有精准的把握，同时又是技术高手，更难。即使是做2C的业务，做到一定程度，这些技术问题都会是大问题，这不是草根玩法能解决了。
追逐自由:
当你有一天用户上百万，或者收入上千万的时候，这些问题都会来
追逐自由:
我有个师弟，福布斯未上市公司前20名，现在就是明显的这种困境
innovate511:
@追逐自由你知道去哪儿当初怎么玩高大上的机票搜索么？基本搜索加人肉辅助！
张涵诚:
@查礼我也错过了
innovate511:
@追逐自由到一定规模后，什么时机该投入什么研发，确实是个大问题，但薄利润模式又将面临死循环问题。中等互联网投入的研究院，没一家产出像样的
追逐自由:
@innovate511最后都会经历转型的痛苦，有些公司也许就在这个坎上失败了，失败的案例永远会比成功的多。去哪儿刚起步的时候我们有接触。关键是你在合适的时间寻找合适的人有的时候不一定能成功，尤其当你还不是那么财大气粗的时候。所以中兴互联网公司的技术架构分享，我看了一些以后，就发现了都是这样的问题
追逐自由:
所以我曾经想过用低价、可伸缩成熟商业产品帮助创业公司，后来发现想卖技术产品给技术人员，尤其是半桶水的技术人员，太难还费劲，于是让他们自生自灭去
innovate511:
@追逐自由都想用最初级的办法先生存再说，结果真生存下来了，历史问题一大堆
追逐自由:
@innovate511大部分人都生存不下来，只想过生存下来的喜悦，没想过危机
DowsonLiu(刘睿民):
互联网贸易，请允许我用这样的词语，因为毛利很低基本就是想用免费的。所以一看到hadoop就感觉什么都想替代
查礼:
@追逐自由碰过南墙方知苦
Microwise:
@查礼?是的，ipp很好使！我们06年做信号处理的时候用ipp做fft，一下解决了实时性问题intel还专门推出了一个forstorage的erasurecode编解码库，做了一个基于openstackswift的demo。
陈新河：联盟副秘书长；《软件定义世界，数据驱动未来》再次感谢查礼的精彩分享！
【入中关村大数据产业联盟500人微信群指南】
您只需在中关村大数据产业联盟500人微信群中分享一次大数据思想、案例，即可进入500人微信群，与众多大数据朋友沟通、交流、合作！（入联盟500人微信群，请把代表您能力和水平的PPT及姓名、单位、职务、联系方式发chenxinhe2020@126.com。详情请订阅微信公众号：软件定义世界（SDX）后，查询500）
【中关村大数据产业联盟主旨与目标】
落实国家战略，聚合产业势能，促进商学互动，
助力企业成长，倡导数据伦理，探寻数字文明。
【中关村大数据产业联盟活动】
〖大数据100分〗以500人圈大数据技术、资本、专家和政策专业人士为依托，每晚9点进行的线上活动。
〖大数据地平线〗以大数据执委会和中关村大数据产业联盟成员为依托，进行的走入企业现场调研活动。
〖大数据香山汇〗以“运动、分享、进步”为宗旨的爬山、PPT分享、研讨活动。
〖大数据沙龙〗以“数据驱动，创新未来”为主题的高端大数据沙龙活动。
【中关村大数据产业联盟联盟网站】
http://www.zgc-bigdata.org/
【大数据媒体方阵】
〖软件定义世界（SDX）〗、〖大数据文摘〗、〖大数据栋察〗、〖科技杂谈〗、〖CSDN〗、〖天云融创〗、〖大数据邦〗、〖199IT〗、〖大数据实验室〗、〖云里数里〗、〖中云网〗、〖云华时代〗、〖大数据问答〗等，目前已覆盖20多万订阅用户。
欢迎加入大数据媒体方阵，第一时间获得〖大数据100分〗等中关村大数据产业联盟提供的独家信息，请在公众号留言或加入个人微信号沟通。
【联系方式】
地址：北京市海淀区东北旺西路8号中关村软件园软件广场C座3层
电话：010-56380808
电子邮件：sdxtime@gmail.com
个人微信号：sdxtime
欢迎大家加入科技杂谈菁英汇，交流思想、分享信息。仅限行业商端人士参与。参与方式：点击左下方“阅读原文”填写您的加入信息，科技杂谈通过审核后，会添加入群。
本文仅代表作者观点，科技杂谈授权刊登。
转载必须注明作者与科技杂谈，侵权必究。
科技杂谈文章，均同步发布于犀牛财经网。
已入驻搜狐新闻客户端，网易阅读客户端。