【2B研究】人工智能为大数据分析插上腾飞的翅膀
数据挖掘是数据分析的重要方法
◆ ◆ ◆
根据《2016中国大数据发展状况研究报告》，目前采用的大数据技术方案主要集中于数据采集、分布式存储、分布式计算等靠前的环节。值得注意的是，大数据的分析处理是企业普遍关注的，在企业采用的大数据技术方案中占据较大的比重。目前的普遍共识是，数据分析在整个大数据产业链中发挥重要作用，数据挖掘和分析能力构成了大数据厂商的核心竞争力。
大数据分析的主要方法包括两方面：一是从企业存储的结构化和半结构化数据中分析出计算机可以理解的语义信息或知识；二是对隐性知识的提取，如关联情况、意图等信息进行挖掘，常用的方法包括分类、聚类、关联规则挖掘、序列模式挖掘、时间序列分析预测等，这是大数据分析的难点和热点，也是大数据厂商竞争力的重要体现。
拥有数据分析核心算法的厂商，国际市场主要有IBM、SAP、Oracle、微软、谷歌、亚马逊、Facebook 等，国内主要有阿里、腾讯、百度、星环科技、帆软软件、用友、永洪科技等。数据分析与挖掘的能力直接决定了大数据的应用推广程度和范围，是大数据产业的核心。
Hadoop、Spark等数据分析工具不断完善
◆ ◆ ◆
工欲善其事，必先利其器。数据分析工具的优劣，直接决定了数据分析效率的高低和分析结果的好坏。随着Hadoop HDFS、Hadoop MapReduce、HBase、Hive的渐次出现，Hadoop生态系统逐步形成。作为大数据时代的一个快速处理数据分析框架，Spark尤其值得关注，多家世界顶级的数据企业例如Google，Facebook等都已纷纷转向Spark框架。Spark可以实现图形分析流，并帮助开发人员利用自己熟悉的语言，对企业数据库内的数据流进行查询和分析，为我们提供了一个额外的数据分析结论获取途径。
新兴分析工具普遍具有操作简单的特点，有些甚至对用户没有任何编码知识要求。例如在Microsoft推出的Microsoft R Server平台和Salesforce推出的Lightning CRM平台上，非编码人员也可以创建应用程序来查看数据并进行数据分析。
另一方面，数据分析的时效性要求也在不断提高。实时分析工具的出现，可以帮助用户利用数据进行快速决策。目前比较知名的实时分析工具有Google Analytics和Clicky，可以为用户提供实时数据访问和分析服务。
人工智能为大数据分析赋能
◆ ◆ ◆
过去的2016年，见证了人工智能的崛起：无人驾驶汽车技术逐渐成熟、语音语义识别的精度不断提高、图形图像识别技术获得发展、智能机器人频频亮相，尤其是AlphaGo与韩国围棋选手李世石的对弈更是引爆了人们对人工智能的热情。
可以预见，未来大数据技术将与人工智能技术更紧密的结合，让计算系统具备对数据的理解、推理、发现和决策能力，从而能从数据中获取更准确、更深层次的知识，挖掘数据背后的价值。应该说，人工智能与大数据好似一对孪生兄弟，他们是相互成就的关系:人工智能系统需要大量数据来“喂养”，只有经过大量数据的训练，其智能化程度才能不断提高；反过来，机器智能的提升，极大的提高了数据分析效率，让我们对海量数据的分析变得可能。更进一步，大数据与人工智能结合起来，催生出一些新兴领域，为我们展示出全新的数字世界。例如在网络安全领域，内置人工智能的大数据分析系统，具有海量安全数据的快速分析和深度挖掘能力，推动了网络安全的变革，并催生威胁态势感知、网络舆情监测等全新领域。
随着人工智能的发展，在海量数据中挖掘有用信息并形成知识将变得可能，机器系统将逐步获得认知能力，这推动了认知计算的发展。认知计算是人工智能不断发展的产物，包括自然语言处理、语音识别、计算机视觉、机器学习、深度学习、机器人技术等。只要人们认识到大数据和分析学之间的紧密联系，就会发现认知计算和分析学一样，都是大数据分析不可或缺的，认知计算的重要性将越来越受到人们的认可。IBM Watson 是认知计算系统的杰出代表，它实现了信息分析、自然语言处理和机器学习领域中大量的技术创新，能够助力决策者从大量结构化、半结构化和非结构化数据中实现深刻的价值洞察。
将具有认知能力的机器系统应用于大数据分析之中，将极大的提高数据分析效率，增强图形图像、语音、视频等非结构化数据的处理能力，进而拓宽大数据平台可以处理的数据类型。同时，人工智能乃至认知计算的大量应用，将极大减少在数据分析中的人工干预，将人从繁重的数据分析中解放出来。可以说，人工智能是大数据分析的灵魂，将是大数据分析技术腾飞的翅膀。
更多阅读：
本文由中国软件网（www.soft6.com）原创发布，未经许可，禁止转载。