【大数据专栏】刘晓鸥：消费者扫描数据在市场分析中的应用
【这是“大数据专栏”的推送文章，本专栏由中关村大数据产业联盟与科技杂谈合作提供】
文 / 刘晓鸥，本文为刘晓鸥在中关村大数据产业联盟“大数据100分”论坛上的交流探讨实录
主讲嘉宾：刘晓鸥
主持人：中关村大数据产业联盟学术委员会主任委员阮彤
承办：中关村大数据产业联盟
嘉宾介绍：
刘晓鸥，女，2009年博士毕业于美国universityofconnecticut，现为中国人民大学副教授，研究方向为应用计量经济学和产业组织，教授课程为微观经济学和计量经济学
以下为分享实景全文：
那我就开始了哈~我是中国人民大学的刘晓鸥。我是学经济学的，领域主要是市场分析。我今天想跟大家讨论的是我们最近正在使用的一个数据库在市场分析方面的应用。这个数据库主要包含快速消费品（如日用百货）的数据，关于耐用品和大宗产品的市场状况可能有所不同。
嗯。我们最近几篇论文使用的数据库是尼尔森家庭扫描数据库(NielsenHomescandata)。这个数据库是实证产业组织（empiricalindustrialorganization）领域的学者们在研究时经常使用的数据。这个数据库记录了在美国16个规划都市圈（16个designatedmetropolitanarea包括NewYork、Philadelphia、Detroit、Boston、Washington.DC、Baltimore、Atlanta、Miami-Ft、Lauderdale、Hartford&NewHaven、Springfield-Holyoke、Chicago、KansasCity、Houston、LosAngeles、SanFrancisco-Oak-SanRosa、Seattle-Tacoma-Bellingham）中随机抽取地13985个样本消费者每周食品采购活动。采购地点囊括了当今所有流行的采购方式如大型零售店,、杂货店、便利店、自动售货机、以及在线商店。
尼尔森公司为每个参与的消费者或者家庭提供了一个扫描器。消费者每周食品采购结束之后，扫描本次所购食品条码（UPC条码），记录此次采购的时间和地点，产品价格和采购数量，优惠券的使用情况，以及采购者的年龄、收入等人口学信息。因此，对于所有家庭采购的产品，该数据库都完整地记录了消费时间、地点、价格、消费量、所购品牌和包装大小、以及购买者情况。消费者样本选择的方式是：年满18岁的消费者在Nielsen家庭扫描数据项目的网站上（www.homescan.com）进行注册，申请加入该项目，并提供自己详细的人口学信息。
依据这些人口学信息，Nielsen公司从注册会员中随机抽取一定规模的消费者参与这个项目。参与者并不会得到现金补偿，但是他们扫描一次他们所购买的产品信息，就会获得在指定商家的积分。这些积分可以在购买商品时在指定商家作为现金使用。如果参与者参加问卷调查和抽奖，可以获得额外的积分。参与家庭将持续记录和报告自己的采购行为。如果某一家庭离开样本库，尼尔森公司将会立刻选择与该家庭所有人口学信息相同的家庭进行补充。因此，这个数据库为研究消费者购买习惯和动态购买行为提供了很好地支撑。而研究消费者行为在整个经济学的研究中是比较重要的，因为除了垄断市场之外，消费者对产品需求的变动会直接影响到企业的行为。例如，以消费者的信息成本为例。假设消费者要购买某种产品，而这种产品可能有众多厂商生产的很多品牌。那么消费者在决定购买之前就要对产品信息进行搜索。在搜索的过程中会产生信息成本。
举个实际的例子。例如，超市的货架摆放就会直接影响到消费者获取信息的难度。假设我们在超市中购买袋装食品。消费者如果对某个品牌不是特别了解的话，他可能就需要先把产品从货架上取下来，然后把包装盒翻过去，阅读生产信息和产品的营养信息。这个信息成本对消费者来说还是比较高的。但是如果这时候，政府突然规定，所有的厂商必须把生产信息和营养信息印在包装盒的正面，那么就会大大降低了消费者的信息成本，从而消费者可能延长搜索期。
此时如果我们假定全体消费者更喜欢健康食品的话，由于消费者的搜索期延长，消费者搜索到健康食品的概率就会大大增加。所以对于企业而言，用健康的品牌替代不健康的品牌，可能就是一个很好的策略。从这个角度看，一个很小的政策改变（仅仅是将一些信息从包装反面移到包装正面），在长期就会对市场引起相当大的冲击。当然，这个都是从理论上来讲的。理论上总是有很多前提假定。目前我们在做的两篇使用尼尔森家庭扫描数据的论文主要涉及两个领域：1、估计消费者对某种产品特性的需求；2、消费者对品牌的忠诚度。
第一个领域是估计消费者对某种产品特性的需求。这种研究通常是用来估计一种新产品上市该如何进行定价的问题，以及用来预测新产品上市之后的销量。因为我们可以把一种产品解构为几种不同特性的组合。如，商品的价格，获取商品的难易程度，颜色，口味，商品的售后服务等等。我们可以利用已有的消费者数据估计每种产品特性在消费者眼中到底价值几何。如果这个能做到心中有数，那么我们在给产品定价的时候，就可以游刃有余。
我们可以把刚才的论述简化成以下的例子：假设我们可以将售后服务量化为等级1、2、3，数字越大代表越贴心的售后服务。而且测算出消费者对每增加一单位的售后服务愿意支付1万元，那么我们将产品的售后服务从等级2升级到等级3可以多向消费者收1万块钱，同时可以保证我们不会流失客户。当然我们可以进行更为精确的计算。比如我们发现，从等级1升到等级2，消费者愿意支付9000元，但是从等级2升到等级3消费者却愿意支付15000元。出现这种情况很有可能是，已经享受等级2服务的消费者是属于收入较高的消费者，所以他们愿意为优质的服务支付更多的钱。一言以蔽之，对消费者需求的预估可以帮助企业更好的定价，或者说，更好的进行定点营销，实行价格歧视（分类定价），并预估销量。
第二个领域消费者对品牌的忠诚度。这个领域很大一部分的研究者在讨论广告的作用。通常，经济学的理论界会认为广告有两个作用：一是通知消费者这个品牌产品的存在以及企业的各种推广活动；二是通过不断的信息强化，建立消费者的忠诚度。
继续上文所提到的与消费者搜索有关的例子。当信息成本降低，消费者搜索强度变的更大的时候，自然而然就会推导出消费者在整个搜索过程中在品牌之间进行相互转换的概率就会增加，相应的品牌忠诚度就会下降。那么这时候，很重要的问题就是，消费者是在相同企业之间品牌进行转换？还是在不同企业之间进行转换？回答这个问题在理论上非常重要。因为这两种行为对应不同的广告策略。也就是说，此时企业广告的目标是集中于发展新的消费群体？还是保持旧的消费群体？是采取持续的广告策略（continuousadvertising，持续的投放广告）还是间歇式的广告策略（pulsingadvertising，仅在一年的几周内集中投放广告）？对于有广告预算约束的企业，这些广告策略的选择就很重要。关于广告的数据库，尼尔森公司有专门的媒体研究数据库。这个数据库为我们提供了相应品牌产品电视广告在相应地区每月电视广告的总收视率（grossratingpoints，简称GRPs）。收视率越高，表明有越多的消费者接收到了产品的广告信息。
当然，实证产业组织中的另一大组成就是对企业行为的研究。比如研究企业之间的各种竞争模式，企业市场进入（选址），企业的并购等等。这些一般是要用到企业销售数据，如果大家感兴趣我们可以下次探讨。我今天的分享就到这里了哈。欢迎大家批评指正！因为我们目前的研究主要集中在理论领域，可能跟现实情况有一定距离~
交流互动
阮彤：
有关用户忠诚度的度量，忠诚度与广告的关系，是如何建模的？
刘晓鸥：
@阮老师忠诚度主要是看在一定时期内消费者的品牌选择。比如我们观测到他在一定的时期内：5个月或者更长的时期内都是购买可口可乐。我们通常会认为这个人对可口可乐是有特别偏好的，具体的“时期”需要看具体的产品。
王昊奋：
刘老师的报告很有意思，。我想问一下homescan数据库的数据是实时更新还是定期更新的？
刘晓鸥：
尼尔森自己的数据是实时更新的，但是由于我们购买的是他们整理好的数据库，所以没有办法做到实时更新，比如我们最近几篇论文用的就是2008、2009年两年的数据。
王昊奋：
另外，对于第一个领域是否需要先区分目标客户群，再针对不同人群计算相关特征的影响来帮助定价？应该还可以识别相比竞争对手最有优势用户又关注的特征吧
刘晓鸥：
这个在模型里面对不同的消费者是有考虑的，通常我们叫做“异质性消费者”，就是说不同的消费者具有不同的偏好，我们模型里面是可以将不同消费者的偏好区别开来的。
王昊奋：
忠诚度下降有考虑究因么
刘晓鸥：
有的，这就是很多论文研究的主要目的，就是找出到底是什么因素影响了忠诚度，一旦这些影响因素发生变化，忠诚度就发生变化了。
王昊奋：
那么究因是建立模型，比如检测与忠诚度下降的重要变量等？还是人工分析？
刘晓鸥：
建立模型。这个领域在经济学里面属于产业组织理论，是有一整套的理论来进行分析的，对应也有很多计量经济学的实证模型
王昊奋：
哦，有什么推荐读物？或surveypaper么
刘晓鸥：
国内经济学界产业组织方面做的好的比较少，有一本书不错，您可以看看：书名是IndustrialOrganization:AStrategicApproach，作者是JeffreyChurch和RogerWare
宣晓华：
@刘晓鸥在中国是否可用类似方法建立一个这样的数据库，人数规模可更大一些?
刘晓鸥：
中国如果能建立这种数据是最好的，但是可能投入很大？或者大家之前企业经营的时候还不太需要这么精打细算？所以现在还没人做。
孙喜庆:
尼尔森的研究基础是，精准小样本，这样的样本容易被操控。
在如今的大数据时代，这种分析方法似乎有些过时了，基于互联网的大样本分析，更受广告和其他商业应用的1青睐。
刘老师您怎么看?
刘晓鸥：
尼尔森在中国也有业务，但是都是很粗的数据，没有家庭扫描数据这么精细
刘晓鸥：
孙老师，您说的是指这些在线购物吗？
宣晓华：
我们可以提供一些支持，也许象数据堂这样的企业可主导
周洲:
关键是用了数据业务能提升多少？
刘晓鸥：
@周洲您说的有道理。我们目前也仅仅限于理论上的研究,但是关于模型精准度的话倒是有些别的例子可以说明
彭永红：
@刘晓鸥?购物卡里数据都有，只需要见一个通用卡均可，或者与几大超市合作把数据融合也可行，关键是超市能否配合以获得由此带来什么价值。@宣晓华华院数据?
刘晓鸥：
比如当时旧金山建地铁的时候，就请伯克利经济系的一些老师帮忙算过定价
孙喜庆：
国内，索福瑞的业务类似尼尔森，收视率的调查，基于不到10000的样本，许多节目会去收买样本用户，这已经是个笑话，
刘晓鸥：
看在什么价格水平下能有多大的客流，我来给您找一下当时估算的结果和实际结果的那个表格，大家可以先忽略最左边一列变量的意义，就单看中间一列（实际的市场份额）和右边一列（估算的份额），做这个project的经济学家后来拿过诺贝尔奖。
刘晓鸥：
@彭永红能带来多大的价值现在我真是不太好说，但是这种精细化的计算对于企业来说肯定是需要的，尤其是在市场成熟了之后
尚硕：
所以大数据给了我们一个新的机会蛇审视样本数据，诸如有线电视这样的统计数据可以更精准，更实时。
刘晓鸥：
@孙喜庆还是希望我们中国的数据研究能越做越好。
彭永红:
@刘晓鸥：对，理清价值是做数据产品的一个重要部分。
【入中关村大数据产业联盟500人微信群指南】
您只需在中关村大数据产业联盟500人微信群中分享一次大数据思想、案例，即可进入500人微信群，与众多大数据朋友沟通、交流、合作！（入联盟500人微信群，请把代表您能力和水平的PPT及姓名、单位、职务、联系方式发chenxinhe2020@126.com。详情请订阅微信公众号：软件定义世界（SDX）后，查询500）
【中关村大数据产业联盟主旨与目标】
落实国家战略，聚合产业势能，促进商学互动，
助力企业成长，倡导数据伦理，探寻数字文明。
【中关村大数据产业联盟活动】
〖大数据100分〗以500人圈大数据技术、资本、专家和政策专业人士为依托，每晚9点进行的线上活动。
〖大数据地平线〗以大数据执委会和中关村大数据产业联盟成员为依托，进行的走入企业现场调研活动。
〖大数据香山汇〗以“运动、分享、进步”为宗旨的爬山、PPT分享、研讨活动。
〖大数据沙龙〗以“数据驱动，创新未来”为主题的高端大数据沙龙活动。
【中关村大数据产业联盟联盟网站】
http://www.zgc-bigdata.org/
【大数据媒体方阵】
〖软件定义世界（SDX）〗、〖大数据文摘〗、〖大数据栋察〗、〖科技杂谈〗、〖CSDN〗、〖天云融创〗、〖大数据邦〗、〖199IT〗、〖大数据实验室〗、〖云里数里〗、〖中云网〗、〖云华时代〗、〖大数据问答〗等，目前已覆盖20多万订阅用户。
欢迎加入大数据媒体方阵，第一时间获得〖大数据100分〗等中关村大数据产业联盟提供的独家信息，请在公众号留言或加入个人微信号沟通。
【联系方式】
地址：北京市海淀区东北旺西路8号中关村软件园软件广场C座3层
电话：010-56380808
电子邮件：sdxtime@gmail.com
个人微信号：sdxtime
欢迎大家加入科技杂谈菁英汇，交流思想、分享信息。仅限行业商端人士参与。参与方式：点击左下方“阅读原文”填写您的加入信息，科技杂谈通过审核后，会添加入群。
本文仅代表作者观点，科技杂谈授权刊登。
转载必须注明作者与科技杂谈，侵权必究。
科技杂谈文章，均同步发布于犀牛财经网。
已入驻搜狐新闻客户端，网易阅读客户端。