百分点：在对大数据深刻理解的基础上构建服务体系
每一个企业级的人 都置顶了 中国软件网
中国软件网 为你带来最新鲜的行业干货
本文作者│欧小刚
微信号│oyg0001
联系邮箱│oxg@soft6.com
从宏观一点的视角来看，大数据只是信息化进程的一个阶段。那么大数据是怎么来的，在信息化进程中扮演什么角色，大数据都有哪些关键技术，怎样用大数据帮助企业实现数据化运营决策？带着这些问题，中国软件网记者欧小刚专访了百分点的技术副总裁兼首席架构师刘译璟博士，试图从根本上来理解什么是大数据，并了解百分点怎么用大数据为企业服务的。
从来源看大数据在信息化进程中的角色哲学上的终极命题是“我是谁，我从哪里来，要到哪里去”，要搞清楚一件事情，很多时候必须弄清楚它的起源才行，这个道理也适用于大数据。下面我们试图从整个信息化进程的角度来看大数据的诞生及其发展。
为了更清楚的说明大数据的发展进程，刘博士向我展示了上面的大数据发展历史。可以看到，1946年计算机的诞生，开启了人类社会的信息化进程；1951年与数据相关的数据库被发明出来，近20年后关系型数据库出现；进入20世纪后谷歌相继发表了三篇论文《The Google File System》、《MapReduce: Simplified Data Processing on Large Clusters 》、《Bigtable: A Distributed Storage System for Structured Data》，这三篇论文奠定了大数据的技术基础；尔后Haoop诞生，大数据开始走向快速发展阶段。
人们一直在谈论大数据的重要性，那么其价值怎么来体现呢？从工业化进程来看，人类社会经历了机械化的1.0时代、电气化的2.0时代、自动化的3.0时代，目前正进入智能化的4.0时代。而在工业4.0的架构设计中，大数据占据重要的地位。另一方面，刘博士认为，在未来互联网中“云大物移社”是一体的：云计算是好比人体的骨骼，未来的信息系统都将是建构在云基础设施之上的；物联网好比感官系统，可以实现信息世界与现实世界的连接；大数据及人工智能则好比大脑，通过数据分析和决策能力，实现“数据大脑”；移动化是高效利用资源的策略，移动化可以让人们更好利用碎片化的时间，优化资源分配；社会化则是信息技术的灵魂，技术只有通过社会化、在具体行业中才能实现其价值。
从技术角度对大数据进行解构上面谈了谈大数据的起源以及在信息社会中扮演的角色，这部分我们来从技术角度解构大数据，希望能更好的理解大数据到底是什么？为了更清楚的说明大数据的相关技术，刘博士向我展示了大数据核心技术谱系。
从数据生命周期的角度来看，企业的大数据需求有存储、计算这些比较基础的需求：希望存储的数据更多，存储的数据更加多样化，不仅是结构化数据，还有图片、视频等非结构化数据；计算方面，企业希望能计算得更快，能计算的维度更多。存储涉及的技术有FS、MQ等，计算方面涉及的技术主要有Spark、Storm、Hive等。除了这些比较基础的需求，大数据技术更关键的在于数据分析能力，这也是大数据与传统数据库不一样的地方。以前的数据库是为了更好的理解企业业务，进行信息化建设来优化业务流程并沉淀业务数据，是事务型的；大数据的核心在于对已有的数据进行分析和价值挖掘。在数据分析方面，有两大类技术范畴：一是商业智能，帮助企业建立数据仓库，进行数据采集和数据治理，通过分析和可视化展现为决策提供支持；二是人工智能，人工智能包括自然语言处理、机器学习、自动求解和推理等，通过人工智能技术来进行数据挖掘，发现数据价值。
从产品和行业角度看百分点的大数据布局我国的大数据产业获得了快速的发展，并取得了可喜的成就。但是，在看到成绩的同时，还是要对目前存在的诸多问题有清醒地认知。大体上来说，要进一步推动我国大数据产业的发展，需要下功夫解决下面四个方面的问题：
大数据应用场景不足。除了目前用的比较多的互联网营销，其他方面应用深度较高的场景还比较缺乏。这会影响大数据在商业上的认可度及商业价值的实现。因此，需要进一步发掘大数据丰富的应用场景。
数据意识不足。大数据不仅仅是技术，更是思维观念的转变，要推动大数据的普及应用，首先需要增强人们的数据意识，培养数据思维能力和习惯。目前数据意识比较好的有电信和金融，其他行业的数据意识需要加强。
数据本身的积累不够。大数据应用是建立在丰富的数据基础之上的，目前很多行业尤其是传统行业的数据积累不够，并且数据孤岛现象严重，各个部分的数据开放和数据融合不足。这方面，政府可以首先进行数据开发，推动数据共享和数据融合。
专业人才缺乏。大数据分析需要大量的专业人才，而目前数据人才缺失严重，尤其是既懂技术又懂业务的人才更少。人才的缺乏，将很大的制约大数据在各个领域的应用。所以，大力培养高素质的专业人才，是推动大数据产业发展的当务之急。
正是存在上面的这些问题，才需要各个领域一起努力，推动我国大数据产业的健康发展。其中，尤其关键的是大数据企业，只有通过大数据企业的产品和解决方案，才能将大数据进行产业落地，在服务企业和政府机构的过程中，不断发现和解决问题。具体表现在：在实践中丰富大数据的应用场景；进行不断地市场教育，并提升企业的数据意识；推动企业和机构进行数据积累；在实践中培养既懂技术也懂业务的优秀大数据人才。
我们以百分点为例，来看看大数据企业如何通过自身技术、产品和解决方案服务，来服务用户，进而推动整个大数据产业的发展的。
在产品系列方面，百分点拥有七大产品：大数据操作系统BD-OS、数据抓取系统、用户标识管理系统、文本分析系统、舆情洞察系统、数据洞察系统、个性化推荐系统。值得一提的是，百分点自主开发了一套大数据操作系统BD-OS，该系统是一套管理大数据采集、加工和应用环节所有资源和任务的操作系统，为企业进行全链路的大数据管理。BD-OS具有全可视化的操作界面，系统化的数据处理流程，智能化的操作向导以及协同化的作业平台，融入了数据流程管理(DPM)的思想，开创了面向数据流程的架构（DPOA）这一方法论。
在大数据分析技术之上，可以针对不同行业和不同场景形成多样化的大数据应用。以百分点为例，通过其大数据技术能帮助企业实现如下的数据应用：
第一，个性化推荐。基于百分点高并发，高可用的大数据离线与实时计算架构，整合5.5亿网民偏好数据，通过跨屏、跨站、跨渠道、跨平台的用户及商品拉通管理模型，打通用户全网行为，针对不同行业根据其特点制定行业推荐规则，进而提升行业整体推荐效率。
第二，营销管家。整合DSP、EDM、SEM、SMS、社交广告等多种营销渠道，为广告主和代理商提供一站式营销管理的工具。
第三，数据洞察。通过内嵌数据采集方式，获取用户在线行为数据，整合业务需求，并提供多维度可视化的报表展现，辅助网站及App运营人员直观立体的洞察数据。
第四，文本分析。为企业提供情感、热点、口碑、文本规则等文本分析服务。帮助企业深度识别非结构化文本，快速科学地分析用户、员工、市场中各类语义信息。
除了上面提到的四类，还有舆情洞察，模型应用等。
另外一个比较重要的是，百分点还针对不同行业提供相应的行业解决方案。据刘博士介绍，目前百分点的优势领域主要有四个：
融媒体方面，主要是通过大数据技术为传统媒体和新媒体提供智能采编、智能传播和个性化推荐等服务。传统的媒体采编是通过记者收集资料进行整理并形成文章，百分点可以帮助媒体在网上自动抓取内容，并根据需要快速生成主题和内容。比如当一个记者想了解大数据方面的动向，系统能自动搜集网上与大数据相关的内容，并分不同类别生成大量的大数据文章，供采编人员参考。智能传播方面，百分点能通过大数据服务，帮助媒体选取文章投放的渠道、文章投放的时间节点，来提升传播效果。并且，百分点的智能传播系统能帮助企业筛选意见领袖和活跃人群，通过对这些人群的精准投放来最大化传播效果。
金融方面，百分点在银行尤其是银行的互联网金融方面优势明显。目前银行普遍面临三大难题：银行离客户越来越远、客户不断流失难以挽回、客户维系成本不断攀升。百分点通过用户实时行为分析、个性化服务和资讯推荐、精准营销、产品分析与创新、风险防范支持等服务，帮助银行等金融机构了解其客户，在此基础上实现智能运营和智能营销。
智能制造方面，百分点通过在产品数据、运营数据、价值链数据、外部数据、个性化定制数据这五个方面的布局，帮助企业由B2C经营模式向C2B转变。具体来看，百分点改变传统制造业的产品设计模式，拉近了生产者和消费者之间的距离；改变企业传统运维模式，通过智能运维，实现了运维过程变被动为主动；改变传统制造行业生产服务的模式，为优化产品制造过程提供了有效方法。
政府方面，百分点帮助政府以数据为中心构建政府的各类智能应用系统。百分点基于政府的实践经验推出了政府大数据解决方案，基于大数据共享服务平台提供多种服务能力，涵盖了政府大数据产业规划顶层设计、大数据标准的咨询、大数据产业链的整合、以及大数据生态的构建在内的各个方面，从政府数据仓库到大数据存储与分析平台，形成一个完整的大数据应用支撑体系。目前，百分点的解决方案集中在政府的“四库”（人口库、法人库、地理信息库、宏观经济库）建设，以及基于“四库”信息的城市发展洞察、智慧政务决策、安全态势评估等应用场景上。
除了上面提到的四个领域外，百分点还在汽车、零售等行业都有布局。正是通过产品和解决方案，来将大数据技术落地，为企业和政府机构提供大数据服务，帮助其提升效能。
用大数据帮助企业形成数据决策力大数据企业提供技术、产品和方案服务，最终的目标是什么呢？我想大数据最终的目标是帮助企业实现数据决策力和数据化运营，进而推动整个社会的数据化转型。要帮助企业实现数据决策力，仅仅有数据技术和工具是远远不够的，这需要整个一套完整的方法体系。要帮助企业形成数据决策，必须对什么数据决策、怎样实现数据决策这些问题十分清楚。在企业数据决策方面，百分点发布了《数据决策力白皮书》，构建了数据决策力模型。
为了更好帮助企业形成数据决策力，改变以前依据经验的“四拍”——拍脑袋、拍胸脯、拍大腿、拍屁股决策模式，真正实现依据数据的决策，百分点构建出BASIC决策力模型。在该模型中，要形成企业的数据决策力，需要几个方面的条件——核心信念（Belief）、架构设计（Architecture）、专业团队（Staff）、基础设施（Infrastructure）和机构能力（Capability）：
第一，要有基于数据决策的信念。目前大数据技术和应用还不成熟，数据决策还处于初期阶段，要改变企业传统的经验决策模式，首先需要改变他们的观念，让企业管理人员逐步形成数据决策的思维方式。大数据不仅仅是技术，更是一种新的数据思维理念，只有相信数据思维，才能克服现实中的很多困难，将数据决策推向深入。企业要形成数据思维，需要百分点这样的大数据公司提供相应的咨询和培训服务，并进行一定程度的市场教育。
第二，要有相应的组织支撑。企业中应该设立相应的数据部门，专门负责数据采集和管理、数据分析工作，并且数据部门要具有较高的组织规格，才能通过数据来影响企业决策。如果只是将数据部门划分给技术部，那数据部门就是个单纯的成本中心，无法发挥其辅助决策的价值。在企业的组织架构设计和数据部门职责规划方面，百分点这样的大数据公司也能提供对应的咨询服务。
第三，要有专业的人才队伍。既懂技术又懂业务的综合性人才，将在数据决策中发挥关键作用。企业要招募专业的大数据分析人才队伍，来为数据决策和数据化运营提供智力支持。综合性人才是比较缺乏的，比较好的方式是大数据公司的技术人员与各个行业的专家进行配合，将大数据技术与行业知识进行融合。
第四，要有大数据基础设施。这里的基础设施就是数据存储、管理、分析和应用的系统和工具。这是像百分点这样的大数据公司发挥作用的地方。这方面百分点在大数据技术、大数据管理、大数据应用三个方面提供全方位的服务，为企业的数据化决策提供系统和工具支撑。百分点通过成熟的大数据技术和管理平台，为企业提供高性能的实时和离线计算能力，以及大量的算法库和商业模型，另外其大数据分析引擎（BAE）、个性化推荐引擎(BRE)、自动化营销引擎(BME)这三个数据引擎也很有特色。
第五，企业通过对数据的应用，逐步实现数据决策能力。数据决策力的形成不是一蹴而就的，需要企业将大数据技术与其业务不断进行磨合，通过多次的数据决策，来纠正偏差，找出问题并进行优化，最终实现比较好的数据决策流程和数据决策力。
应该指出，这五个方面不是孤立的，而是相互联系，共同构成数据决策闭环。比如企业通过多次的数据决策，形成一定的数据决策能力，并在管理实践中让数据的价值得到体现，成功的实践经验会进一步加强管理者对数据的信心，进而加强基于数据决策的信念。
在每一个数据决策过程中，百分点又总结出了DDD模型，即数据化（Datafy）、发现洞见（Discover）、设计重构（Design）三个环节：首先需要将企业的业务进行充分的数据化；然后基于数据进行分析和挖掘，发现隐藏在数据中的规律和价值；最后根据发现的规律来对企业业务和管理进行优化。
附录
公司介绍
北京百分点信息科技有限公司成立于2009年，是中国领先的大数据技术与应用服务商。百分点现有员工500+人，包括2位国家千人计划入选者。百分点产品线已涵盖大数据技术层、管理层和应用层，其核心产品包括技术层的大数据操作系统（BD-OS），管理层的用户画像标签管理系统，以及应用层的推荐引擎、分析引擎和营销引擎。目前，百分点已为近2,000家互联网及实体企业提供大数据技术平台搭建和大数据驱动的SaaS应用，客户涵盖制造、金融、汽车、零售、快消、电商、媒体、政府等行业的龙头企业。在融资方面，百分点已完成D轮融资，累计融资额7亿元人民币，投资方包括IDG、高瓴、光大证券、浙报传媒等，创企业级大数据领域融资最高记录。
人物简介
刘译璟，百分点技术副总裁兼首席架构师。北京大学，应用数学专业博士。2015年入选北京市“科技新星”。曾参与多个国家自然科学基金项目，包括：对象封装和保护的理论和技术研究、Web服务编排与协作的形式化模型、复杂状态程序和系统的语义模型研究等。作为百分点技术副总裁，带领核心研发团队在六年的时间里完成了百分点推荐引擎（BRE）、百分点分析引擎（BAE）及系列智能应用产品的设计与研发，并负责海外业务部管理工作。
更多阅读：
本文由中国软件网（www.soft6.com）原创发布，未经许可，禁止转载。
报名请点击“阅读原文”