大数据时代企业竞争情报系统

本文转载自微信公众号：小骏马育成计划

文章作者：Sciker

随着企业市场竞争的日益加剧，企业竞争情报已经不 限于原有意义上的数据采集、整理、分类、发布的概念，“在线”需求逐步超越“离线”需求，“受动式服务” 正为“主动式、自助式”服务所取代，数据挖掘技术已经成为“信息分析”这个企业竞争情报系统中核心模块的技术支撑。企业级数据挖掘在CIS中的应用，也将成为知识经济下新兴的数据服务模式。

1.大数据的特征

大数据特征主要体现在三方面，即“3V”：Volume（体量），Velocity（速度）和Variety（多样性）。Volume（体量）指同一类型的数据在快速增长，目前在传感器网络、网络日志、社会网络（例如微博）、即时通讯记录（例如QQ）、电子商务（例如淘宝）等领域都将产生庞大的数据，PB级别将是常态，而且数据规模不断扩大。Velocity（速度）指数据增长的速度在加快，呈指数级持续增长，目前很多领域的数据都以惊人的速度增长，根据WinterCorp的调查显示，最大的数据仓库中的数据量每两年增加3倍（年均增长率为173%），其增长速度远超摩尔定律增长速度。照此增长速度计算，2015年最大数据仓库中的数据量将逼近100PB。Variety（多样性）指新的数据来源和 新的数据类型在不断增加，目前产生大数据的领域在不断增加，数据类型不仅包括普通文本、照片、音频、视频等等，还有像位置信息、链接信息等类型的数据，伴随着社交网络、移动计算和传感器等新技术不断产生，大数据中绝大部分是非结构化数据。

2. 竞争情报与竞争情报系统

竞争情报 ( Competitive Intelligence，简称CI）是能够系统化的对那些可能影响公司计划、决策和运营的外部信息进行采集、分析和管理所形成的知识性信息。它主要通过合法手段从公开信息资源中依靠方法和工具收集和分析竞争对手的能力、 弱点和意图等。 其主要面向服务对象从研发和市场的具体业务到宏观战略决策等。

竞争情报系统，又名CIS，是Competitive Intelligence System的缩写，是企业竞争战略管理实践中新出现的概念。

中国科技情报学会竞争情报分会名誉理事长包昌火先生认为，竞争情报系统是以人的智能为主导、信息网络为手段、增强企业竞争力为目标的人机结合的竞争战略决策支持和咨询系统。竞争情报系统可为企业赢得竞争优势提供强有力的智力支持和情报保障。

美国竞争情报从业者协会给出了一个竞争情报的标准模型：

3.企业竞争情报

美国竞争情报从业者协会（Society of Competitive Intelligence Professionals，简称SCIP）前主席、匹兹堡大学商学院的约翰·E·普赖斯科特教授指出：“企业竞争情报系统是一个持续演化中的正规化和非正规化操作流程相结合的企业管理子系统。它的主要功能是为组织成员评估行业关键发展趋势，把握行业结构的进化，跟踪正在出现的连续性与非连续性变化，以及分析现有和潜在竞争对手的能力和方向，从而协助企业保持和发展可持续性的竞争优势。”

企业竞争情报系统主要由三个子系统组成：

（1）竞争情报收集子系统

是企业CIS的重要构成，它是企业CIS的输入系统，是竞争情报工作的基础。因此，它的工作质量和速度，决定着企业CIS的效能和效益。

（2）竞争情报分析子系统

是企业竞争情报系统（CIS）的核心，是竞争情报的 “制造车间”。它是以人的智力为主导，通过 “黑箱”操作实行信息的集成、重组和智化。CIS及其企业竞争情报中心（CIC）的专职和兼职分析人员采用人工分析与机助分析相结合的手段，将竞争情报采集子系统所收集的信息有序化、系统化、层次化，将Information转化为Intelligence，“ 生 产”出真正有用的竞争性情报。

（3）竞争情报服务子系统

是企业CIS的输出系统，它的主要功能是面向企业各级决策层和各类用户提供情报产品和情报服务。因此，它的高效与否，关系到企业CIS的形象和成败。可以认为，企业CIS的收集、 分析、服务三个工作流程呈一个金字塔型。

竞争情报收集子系统就位于这个金字塔的最底层，而竞争情报分析子系统、竞争情报服务子系统分别构成了该塔的中间层和最高层。

4.数据挖掘

（1）数据挖掘的概念

数据挖掘（Data Mining，简称 DM）就是利用各种分析工具从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中提取隐含在其中的，但却非常有用的信息、模式（规则）和趋势，这种模型能对未来作出预测和评估。要发现那些不能靠直觉发现的信息或知识，甚至是违背直觉的信息或知识。目前，数据挖掘技术在商业领域已经不是一个新名词，它最早成功应用于高投入、高风险、高回报的金融领域，现在正在不断向电信、保险、零售等客户资源信息密集的行业拓展。

（2）数据挖掘的一般过程

数据挖掘的一般过程由6个阶段组成：

a.定义问题

首先明确定义将要解决的问题。所以，数据挖掘者要熟悉该行业的数据和业务问题，缺乏这些，就不能够充分发挥数据挖掘的价值，很难得到正确的结果。模型的建立取决于问题的定义，有时相似的问题，所要求的模型几乎完全不同。

b.数据准备

有些人喜欢将数据挖掘看作一个不可思议的过程，认为它吞进的是原始数据，吐出来的则是钻石。而数据准备则是这个过程的核心。这一阶段又可分为3个子步骤：数据集成、数据选择、数据预处理。

数据集成：将多文件或多数据库运行环境中的数据进行合并处理，解决语义模糊性、处理数据中的遗漏和清洗脏数据等。

数据选择：目的是辨别出需要分析的数据集合，缩小处理范围，提高数据挖掘的质量。

数据预处理：是为了克服目前数据挖掘工具的局限性。

c.确定主题

数据挖掘过程的第三步是确定研究主题。数据挖掘是 一个经常需要回溯的过程。因此，没有必要在数据完全准备好之后才开始进行数据挖掘。随着时间的推移，你所使用的数据、你对它们分组的方式以及数据清洗的效果等都将改变，并有可能改进整个模型。这一步会涉及到了解研究主题的局限性，选择待完成的良好研究主题，确定待研究的合适的数据元素，以及决定如何进行数据操作等。

d.读入数据并建立模型

一旦确定要输入的数据之后，接着就是要用数据挖掘工具读入数据并从中构造出一个模型。根据所选用的数据 挖掘工具的不同，所构造出的数据模型也会有很大的差别。

e.挖掘操作

依照上述准备工作，利用选好的数据挖掘工具在数据中查找。这个搜索过程可以由系统自动执行，自底向上搜 索原始事实以发现它们之间的某种联系，也可以加入用户交互过程，由分析人员主动发问，从上到下地找寻以验证假设的正确性。对数据挖掘的搜索过程需要反复多次，通过评价数据挖掘结果以不断调整数据挖掘的精度，以达到发现知识的目的。

f.结果表达和解释

根据最终用户的决策目标对提取的信息进行分析，把最有价值的信息区分出来，并且通过决策支持工具提交给决策者。

5.基于数据挖掘的企业竞争情报系统模型

知识经济时代，数据、信息成为重要的经济资源，随着信息资源总量的日益膨胀，企业面对堆积如山的数据往往无可奈何，无法充分发掘出应有的经济价值。在日新月异的海量数据里迅速提取有价值信息并尽快做出反应，成为许多企业的“致胜秘笈”。CIS是一个以竞争情报为处理对象的决策支持系统，它要求其数据平台建立在企业集成数据环境下，仅以企业的MIS、MRPⅡ、ERP数据库为数据源是不足以支持CIS的决策分析系统的。因此，利用数据挖掘技术充分实现数据的分析，从而构成一个全面高效的为企业高层决策服务的CIS系统。

基于数据挖掘的企业竞争情报系统模型如图所示：