大数据中的智慧
《大数据智慧计算原理方法》
我们80后在上大学的时候，计算机系统连我们大学生学起来、用起来，都非常费劲。可现在10后，小孩子都能很快学会并熟练地在计算机上玩游戏、聊天。这是为什么？这是因为计算机系统的软件中融入了越来越多的人类智慧，使得计算机系统越来越智慧，进而使得计算机系统越来越容易被使用。我们80后上大学的时候的计算机如果只有1岁孩子的智商，那么现在10后的计算机估计已经有5岁孩子的智商，自然就更容易打交道了。
大数据的兴起给进一步提升计算机的智力提供了一个机会，《大数据智慧计算原理方法》这本书的目的就是在大数据处理中融入更多的智慧，使得计算机系统的智商进一步提高。
该书针对处理海量大数据的需要，提出和研究了跳板大数据智慧计算原理与方法，以关联不同的数据源，使得不同的数据源之间可以互联互通，从而可以产生新的服务和新的数据。
例如，利用了跳板大数据智慧计算原理与方法，才使得云计算的调度与绿色能源的调度连接了起来，从而提高绿色电力的利用率；才使得虚拟建模与物联网连接了起来，从而通过虚拟模型可以操纵现实；才使得移动终端与超级计算机连接了起来，从而通过移动终端可以方便使用超级计算机。
该书针对处理异构大数据的需要，提出和研究了耦合大数据智慧计算原理与方法，使得异构大数据之间可以进行有效耦合。
例如，利用了耦合大数据智慧计算原理与方法，才使得分布式供电节点与分布式用电节点得到了耦合，从而提高了电网效率；才使得不同的云系统间得到了耦合，从而进一步发挥云的优越性；才使得结构化数据与非结构化数据库在云中得到了耦合，从而既易于数据查询又易于数据分合。
该书针对处理全大数据的需要，提出和研究了先验大数据智慧计算原理与方法，使得先验结果可以降解全大数据处理的难度。
例如，利用了先验大数据智慧计算原理与方法，才使得事先后台的仿真结果可以用于实时突发事件的仿真；才使得对各作者的文学作品的统计可以用于鉴别文学作品的作者。
该书针对挖掘大数据隐蔽性知识的需要，提出和研究了自适应大数据智慧计算原理与方法，通过大数据感知环境因素和用户需求，从而更好地为用户提供贴心的服务。
例如，利用了自适应大数据智慧计算原理与方法，才使得云计算系统可以适应不同的网络环境、服务端环境、客户端环境，来调用不同的模块，从而使得云计算系统可用性更高；才使得超级计算机可以根据任务对节点的具体需求，将任务调度到相应计算能力的节点，从而使得超级计算效率提高；才使得广告可以根据网页内容进行插入，提高网页用户对广告的兴趣。
该书针对处理动态大数据的需要，提出和研究了增量大数据智慧计算原理与方法，来充分利用已有大数据的处理结果。
例如，利用了增量大数据智慧计算原理与方法，才使得数字城市的更新无法从头再来，减少了数字城市更新的成本；才使得知识库能与时俱进，逐渐扩展知识、提高知识的准确度；才使得进行更细粒度的比对时，无需重复比对粗粒度中已经匹配成功的视频段，从而减少了对比的工作量。
该书针对处理动态大数据的需要，提出和研究了增量大数据智慧计算原理与方法，来充分利用已有大数据的处理结果。
例如，利用了自动大数据智慧计算原理与方法，才使得数字城市可以从遥感影像中自动重建出来，而无需手工处理；才使得多媒体可以自动地被合适地切分，而无需人工干预；才使得某些机器人加入或离开巡逻队伍，巡逻队伍能够自动得到重新调配，而无法人为调整。
该书针对处理海量大数据的需要，提出和研究了分治大数据智慧计算原理与方法，来充分利用并行计算和云计算的优势来加速大数据的处理。
例如，利用了分治大数据智慧计算原理与方法，才使得视频可以分为很多视频段同时转码，从而加快转码的速度；才使得多机器人的任务可以分发给很多云节点分别同时地处理，从而提高多机器人的处理能力；才使得密码可以隐藏在各云数据分块的分布中，从而提高云安全性。
该书针对处理海量大数据的需要，提出和研究了冗余大数据智慧计算原理与方法，以空间换时间，来进一步加速海量大数据的处理速度，其中把程序也当作一种数据。
例如，利用了冗余大数据智慧计算原理与方法，才使得损失了微小的重叠边界存储，换来了大幅度的并行处理时网络通信量的降低，从而可以大幅度地提高并行处理速度；才使得损失了不同版本同时存在的系统开销，换来了用户体验的大幅度提高；才使得损失了各周期结果数据存储开销，换来了更高级别周期数据处理速度的大幅度提高。
《视频大数据智慧计算方法》
我们的世界是可视的、动态的，整个世界最原始的状态就是一个连续不断的、将会延续无数亿年的视频。随着视频录制设备的普及，特别是智能手机也具备了录制视频的能力，现在已经进入视频大数据的时代。人们喜欢录制视频来记录生活中的点点滴滴，学校喜欢用视频来记录老师上课的实况，政府喜欢用视频来监控社会的动态。一个文本文件或图像文件或声音文件，其数据量都一般在M级，但一个视频文件数据量一般都在G级，而有的高清视频能达到T级。每个视频都含有非常丰富的信息，都要占用大量的存储空间，而视频的数量又非常庞大，这就使得视频成为各种格式的数据中数据量最为突出的大数据。
视频大数据对智慧计算的需求，主要体现在以下几个方面。
1、对视频大数据识别的需求
因为视频如果不被识别，则毫无意义，但视频识别对计算机来说不是一件很容易的事情，虽然我们人类每天都在看电影、看电视，识别视频对于我们人类来说，非常容易。因此，在视频识别这一方面，计算机当前发展水平还远远不如人脑。但视频大数据的海量数据性，使得无法完全由人工来进行识别，所以急需一种更为智慧的计算来对视频进行自动高效的识别。
2、对视频大数据重建的需求
视频重建是基于视频识别所得到知识所进行的创造性活动。视频本身是源于现实，而视频重建的结果是对现实的重塑。因此，视频重建是对视频的有效利用。但视频重建比视频识别对计算机而言更为困难，因为视频重建是一种创造性的活动，而计算机最不擅长做的事情就是创造性的活动。所以当前视频重建一般都是人工来做的，例如根据动画形象进行三维建模，都是由3D模型设计师进行手工设计。但是当面临视频大数据时，如果有大量的视频需要被重建，则无法完全由人工来进行重建，所以急需一种更为智慧的计算来对视频进行自动高效的重建。
3、对视频大数据重组的需求
因为视频是一个图像、声音、文字的时间序列，这个序列可以分片，可以合并，统称为重组。现实生活中对视频重组的需求是巨大而迫切的。例如，不同的人可能关心不同视频中的某个主题和片段，那么就需要把这些主题和片段切分出来并进行合并后交付给不同的用户。这个例子讲的是用户的需求。还有一种更大的需求，是对视频大数据处理的需求，因为为了加快大视频的处理速度，则需要采用分而治之的云计算模式进行处理，所以需要对视频进行分片后再合并。但视频的分片、合并并不像文本那么容易和简单，如果采用人工交互式地进行分片，那么由会影响对视频大数据的整体处理的自动化，因此急需一种更为智慧的计算来对视频进行自动高效的分片。
4、对视频大数据转码的需求
由于视频结构及其应用的复杂性，所以以不同的方式来组织视频数据就形成了视频的不同编码格式和封装格式。视频的编码格式和封装格式之多远远地超过了文本、图像、声音这些类型的文件数据。特别是随着电视网、电脑网、手机网的互联互通，使得三网之间视频格式的互转变得非常频繁和泛化，转码可以使得视频大数据在三网之间无碍地流通，这就使得三网上的视频大数据对转码的需求与日俱增。当人们用不同手机、在不同带宽下观看或下载同一个视频源时，所得到的视频的编码格式和封装格式可能都会不同，在这些时候，都有转码的发生。但随着视频大数据的数据量的激增，传统依靠改进转码硬件性能及转码串行算法的途径已经无法满足需求了，其结果必然会影响视频下载和在线播放的速度。因此急需一种更为智慧的计算来对视频进行自动高效的转码。
5、对视频大数据监控的需求
高速公路上、个人家庭中、公司中、超市中、ATM机旁等等地方监控摄像头无处不在，但这些“眼睛”真的在发挥作用吗？大部分的监控摄像头只能起到事后取证的作用，而无法像人眼那样看到异常立即报警。当前视频监控大数据没有做到实时的监控和处理，也没有做到事后的海量挖掘和分析。因此急需一种更为智慧的计算来对视频进行自动高效的监控。
6、体现在对视频大数据审查的需求
现在网络上黄色视频、暴力视频严重危害了未成年人的身心健康，如果靠人工网络警察去一个个地看、一个个地查，总是有漏网之鱼的视频，因为视频的数量实在太大了，而且每一个视频人工也难以从头看到尾，即使从头看到尾也难以对非法内容毫无遗漏。因此迫切需要一种更为智慧的计算来对视频进行自动高效的审查。
视频大数据对智慧计算还有很多其他需求，统称为对视频大数据处理的需求，包括对视频分类的需求、对视频推荐的需求、对视频拆条的需求等。这些需求也随着视频大数据的数据量的攀升而越来越需要一种更为智慧的计算来对视频进行自动高效的处理。《视频大数据智慧计算方法》这本书的目的就是在视频大数据处理中融入更多的智慧，使得计算机系统的智商进一步提高来满足上述需求。
朱定局：已获得华南师范大学、深圳市政府、中国科学院深圳先进技术研究院、中国科学院系列荣誉。作为项目负责人已主持国家级项目4项（其中国家级重大项目2项）、已主持省级项目5项（其中省级重大项目2项）。作为第一作者在国家级出版社已出版学术专著6部；作为第一作者已发表SCI/EI学术论文31篇。
ISBN 978-7-03-042863-9
《大数据智慧计算原理方法》的内容均为原创成果。其原创性在于：提出并研究给出了大数据智慧计算原理与方法，具体又提出并研究给出了跳板大数据智慧计算原理与方法、耦合大数据智慧计算原理与方法、先验大数据智慧计算原理与方法、自适应大数据智慧计算原理与方法、增量大数据智慧计算原理与方法、自动大数据智慧计算原理与方法、分治大数据智慧计算原理与方法、冗余大数据智慧计算原理与方法。
ISBN 978-7-03-043461-6
《视频大数据智慧计算方法》以空间为纬度来研究视频大数据中图像的识别、重建，以时间为经度来研究视频大数据中帧间的切分、转码，以时空为经纬度来研究视频大数据内容的监控、审查、分类。《视频大数据智慧计算方法》的原创性在于：提出并研究给出了视频大数据智慧计算方法，具体又提出并研究给出了视频大数据空间智慧计算方法、视频大数据时间智慧计算方法、视频大数据时空编解码智慧计算方法、视频大数据时空监控智慧计算方法、视频大数据时空审查智慧计算方法、视频大数据时空分类智慧计算方法。
地球为你而转！
欢迎关注：赛杰奥（sci_geo）
科学出版社地球科学订阅号
点击“阅读原文”可购买本书