【大数据专栏】秒针系统吴明辉：数字广告分析和程序化营销实践
【这是“大数据专栏”的推送文章，本专栏由中关村大数据产业联盟与科技杂谈合作提供】
文 / 吴明辉，本文为吴明辉在中关村大数据产业联盟“大数据100分”论坛上的交流探讨实录
主讲嘉宾：吴明辉
主持人：中关村大数据产业联盟副秘书长陈新河
承办：中关村大数据产业联盟
嘉宾介绍：
吴明辉：秒针系统公司创始人兼CTO，秒针系统为广告主提供数据分析的服务，通过管理数据的的能力赚钱。2010年，宝洁在中国市场的28个品牌全线采用秒针的监测评估产品和服务。在中国市场上使用了秒针的服务之后，宝洁要求秒针在全球其他市场上也为其提供广告监测评估服务。宝洁的成功案例为秒针带来了大量品牌客户，包括肯德基，必胜客，可口可乐，大众汽车，微软，IBM等超过100家广告主。
以下为分享实景全文：
吴明辉：
大家好，我是吴明辉。很高兴，能有这个机会跟大家分享我们正在做的事情。我今天跟大家分享的是数字广告分析与程序化营销实践
上图是中国的显示广告市场，大家可以注意到市场上存在很多中间环节。很多中间环节没有被自动化，需要技术公司帮助加速行业自动化，但绝大多数拥有客户资源的行业内技术公司缺少必要的技术能力。
另外，行业比较混乱，对于广告效果的评估存在很多问题：包括媒体数据不可信，作弊，各家媒体给出的数据报告存在数据Gap，以及没有统一的IP库等。而且，很多传统的营销技术公司，小富即安，没有颠覆传统世界的决心。
秒针系统呼应市场需求，提供了一套系统的自动化的解决方案，帮助广告主进行广告预算的分配、投放和结果测量，为行业提供了中立的第三方的广告测量标准。
“秒针系统”是中国领先的第三方广告技术公司，为广告主提供专业可靠的数据技术应用方案,以帮助企业有效评估和优化数据利用效果，提升媒体投放回报。并且，“秒针系统”提供的第三方的评估数据能够为广告主和媒体之间的支付提供结算依据。
公司成立于2006年，总部设立在北京。其在上海、广州以及新加坡均拥有分支机构，向中国大陆、香港、台湾、日本、澳大利亚、泰国、印度尼西亚以及新加坡市场提供产品和服务。
秒针系统通过技术和产品创新不断引领推动数字广告行业发展。
秒针系统提供的产品和解决方案不仅帮助解决客户在互联网上的营销评估和优化，还帮助解决客户在TV、Mobile上的全媒体营销优化。
这些方案一起成就了秒针在行业中的领先地位，使得秒针占据了70%的市场份额。
秒针系统从未采购媒体资源或担任广告中介，从而确保公司数据的独立客观。秒针为广告主和发布媒体之间的支付设立了行业标准。目前共有100多家广告主采用秒针的检测数据作为支付依据，而非媒体的数据。另外，秒针正在进行MRC的资质认证（MRC是世界上唯一的能够对第三方评估机构进行认证的机构）。秒针是国内第一家做这个认证申请的公司，预计今年完成认证。
秒针系统，与全球领先的市场研究机构形成技术联盟，并与全球领先的样本数据库供应商进行紧密合作。通过前沿的研究模型“网络广告收视率”的应用，来优化和改善客户的投资回报率。该模型包括全面数据跟踪监测评估、样本库混合式监测评估、Cookie和受众为基础的到达率和频次监测评估、人口与行为数据的监测评估。结合样本库的人口统计学属性，以及海量数据的Cookie流量数据，将看过广告的受众进行人口统计学维度的划分，从而量化基于目标人群的投放效果，提升投放后的优化空间。
上述是对秒针系统做了一个简单的介绍，下面我将介绍一下秒针现有的产品。
产品1：
AdMonitor是中国第一个以目标受众为核心的在线广告评估系统。通过对在线广告活动的追踪，提供到达人群及后续行为的受众分析，同时可精确测量互联网广告对目标受众的到达率（即有多少人看过这个广告）、到达频次（每个人看过几次广告）和“网络广告收视率”数据，并能描绘出目标受众特征，为在线广告活动提供更有效的投资回报率分析和优化建议。
产品2：
SiteMonitor是全实时的网站和APP监测、分析工具，通过对网站或应用流量的分析和对访客行为的追踪，为网站或APP运营和优化提供了详实有力的数据支持。
产品3：
MobileMonito中国首个第三方移动广告监测系统。能够精准统计移动广告覆盖独特访客状况，实现移动端跨媒体跨频道消费者行为的追踪和分析，为广告主提供真实可靠的移动营销第三方监测数据。同时提供APP使用行为监测，以帮助广告主充分了解从前端广告接触到消费者到达广告主APP后的一系列相关行为。
产品4：
TVMonitor是全球首个提供人口属性分析的数字电视广告监测工具，能够拥有第三方数据源以及全面获取的回路数据，支持多种广告形式，以及异常流量控制机制，并且支持受众群体分析等特性。
产品5：
SocialMonitor是秒针推出的，多维度社交媒体（论坛、微博等）监控分析工具，包括粉丝分析、竞品分析和特定分析等。
产品6：
MixReach 是一套功能强大的跨媒体预算分配工具，用于电视和互联网视频媒体预算分配，以帮助用户在媒介预算或到达率目标一定的情况下实现更高的投资回报率。MixReach在媒体预算优化管理占有领先地位，2013年中国媒体广告预算市场规模约3600多亿元，秒针管理500亿元的跨媒体广告预算。
产品7：
VOptimizer是国内首个网络视频广告买前优化工具，一套功能强大的跨网络视频媒体预算分配工具，用于网络视频媒体间预算分配。VOptimizer拥有广泛的历史数据和完善的算法模型，能够精确计算网络视频广告投放的最佳媒体组合方案，为视频广告营销提供准确预估，有效节省每到达成本，对目标消费者达成最好的广告传播效果。
产品8：
PlanNex是一套细粒度的预算分配工具。能够根据媒体的历史用户行为数据评估媒体的价值，并根据广告预算优化计算获得最佳的媒体组合，并以此制定广告投放的建议排期，指导广告投放。
前面8个产品都是与数据测量相关的。秒针系统不仅仅在数据测量是行业的专家，领军者。在广告的程序化购买方面也是引领行业发展的。我们在程序化购买方面主要有三个产品。
产品9：
全球首个支持人口属性特征监测的第三方全流程广告管理系统。能够帮助广告主进行跨媒体的频次控制、创意轮播、创意优化、多重定向等多样化的广告投放控制，并且其与秒针AdMonitor无缝集成，拥有多样化的数据报表和丰富的分析指标能够对广告投放的效果进行追踪。
产品10：
AdExchange是中国首个公平、公正、公开的第三方互联网广告交易平台。其为品牌客户提供大量优质库存，提供程序化购买的基础设施。
客户可以通过dsp在秒针AdExchange平台上进行广告的定向投放，包括地域定向、重定向。多种精准定向，帮助客户快速定位目标受众。
秒针AdExchange目前是国内排名前五的广告交易平台，排名第一的视频广告交易平台。
为了更好的进行程序化购买，我们需要充分利用已有的数据资源，挖掘数据的价值。
产品11：
DMP（Data Management Platform）数据管理平台。DMP能够帮助客户管理自有的数据资源，并结合其他数据资源，通过数据整理、清洗、打通和挖掘，为客户提供基于数据优化服务，帮助客户进行访客重定向，目标用户定向等。
介绍完产品，下面我给大家简单介绍一下秒针在大数据应用上的技术创新。
秒针其实是一个大数据公司，每天都在实实在在的处理大量的数据。历史上秒针系统帮助客户积累的数据量超3PB数据，日均处理数据超3TB。都在讲大数据，秒针系统真正的遇到了大数据，并一直在很好的解决大数据带来的相关问题。
秒针系统现在存储了6.1亿网民的所有用户行为，并已经给6.1亿网民进行了分类和标签标注，6.1亿网民几乎覆盖了所有网民。这么大的数据量，以及数据本身的隐私性，对存储、计算和安全都是巨大的挑战。
大数据的特点就是：数据获取的速度要求越来越快速，数据存储和计算从抽样到普查需要的规模越来越大，数据从分散的片状聚集成堆，需要进行数据打通。
经过多年的积累，秒针系统的技术平台不断升级进步，从最初的单机计算，到多机计算，以及现在的分布式存储计算平台，我们付出了很多很多。秒针系统三大核心技术—云计算，云存储和人工智能。他们分别解决了我们遇到的数据规模、计算速度和算法问题。他们是秒针提供优质产品服务的基础。这些核心技术成为秒针最大的竞争力，为了让更多的企业像秒针一样能够很好的驾驭大数据，秒针也进行大数据产品和解决方案的售卖。
大数据平台的安全和稳定也是能够提供持久和高质量服务的保证，是从优秀到卓越必须建设的事情。秒针系统现在参与存储、计算的服务器数量达到了700台。另外，我们还采用了两地三备份的方案，保证所有的数据，在两个不同的地域有三个存储备份，避免数据的丢失。另外，我们假设了多级防火墙，并增设了7*24小时的监控报警，保证了数据的安全。
声明，我们不会采集的信息：
个人身份识别信息—电子邮件地址、电话号码、全名或其他可供识别用户个人身份的信息。
敏感网络内容信息—暴力、药品、酒类、色情内容等。
未成年人的信息。
另外，我在这里想跟大家分享一下我体会到的数据的价值和意义：
（1）免费的互联网，广告支撑的互联网。由于广告的存在，使用户的免费访问网络并且获得想要的内容成为延续的根本。广告的价值评估又是广告存在的必要条件。数据的收集，分析，应用使互联网的价值得以被发现，被认可。
（2）改善用户体验，获得更好服务。数据还可以用来改善用户体验，选择最佳广告创意，同时为媒体改善广告对于用户带来的负面影响提供最佳数据支持。
前面多个地方提到了Cookie。Cookie是什么：
Cookie是存储在浏览器中的小型文字存档。大多数Cookie都有一个专用识别码。Cookie广泛用来网站提供基本的服务，例如邮箱记录用户的用户名，在下次登录时不用重复输入。
我们用Cookie做什么
像大多数媒体一样，我们用cookie在唯一标记一个浏览器（浏览器并不能代表一个人，但是我们有Cookie对应到人的算法推导模型）。与媒体记录用户相关的信息（例如登录信息）不同的是，我们被称作第三方cookie，只记录一个能唯一匿名标记的字符串。当用户第一次请求miaozhen.com时，生成一个cookie，之后不需重复生成，直至被清除。
秒针不会在cookie中存储用于标记之外的信息，这些用于唯一标记的信息也无法用于识别个人身份。
用户选择权：Opt-out
我们遵守美国互动广告局IAB的要求，在miaozhen.com网站上说明我们采集数据的用途，并提供了明显的Opt-out选项。
对于点击这个按钮的消费者，我们将在其cookie中进行标记，除非这个标记被消费者清除，否则我们将不再收集其任何信息
用户可以随时清除cookie
如果用户愿意，用户可随时借用浏览器设置工具来删除存储于本地浏览的所有cookie
为了更好的保护数据隐私，秒针最为最早的会员参与了中国广告协会的隐私保护小组，并积极推动规则制定和标准开发。
秒针的大数据系统架构，包括数据的采集，清洗，存储，计算和应用。理论上只要是行为数据我们都能够采集，秒针希望能够成为行书数据采集、存储、计算和挖掘的专家，并尽量开发更多的应用，服务于行业客户。
上图清晰的说明了秒针提供的大数据技术解决方案和产品。秒针提供的大数据技术解决方案，包括跟踪脚本管理系统，分布式数据收集系统，实时决策支持系统，高性能数据计算平台，高性能数据分析和挖掘平台，SQL实时处理引擎，SQL批量处理引擎，跨终端数据可视化系统，以及自动高效的集群管理系统。这些系统可以自由组合为客户提供定制化的解决方案。
上面我对秒针系统、产品和技术进行了较全面的介绍。如下，我给大家分享一些我们做过的案例：
案例一：
异常流量，根据秒针的历史统计，平均有20%的广告曝光流量为异常曝光流量，24%的广告点击流量为异常点击流量。
为了解决这个问题，秒针系统推出全新的异常流量排查系统——SmartVerify，通过遵循IAB的verification定义和标准建立一系列异常流量排查规则，同时，基于PB级的历史数据及行业数据综合制定系统阈值和Benchmark，从而实现标准化、系统化的排查多种形式的互联网广告异常流量。
同时推出的还有智能拍屏工具SmartCapture，可以对投放的广告活动进行监播并自动刷新和截屏异常流量页面，可以同步监测并抓取多个页面，支持展示类、视频贴片等多种广告形式，支持用户自定义拍屏规则，从而对互联网广告中的异常流量进行真实取证。
案例二：
怎样标识唯一的广告受众。在互联网上，是基于cookie来标识广告受众的，但是cookie经常会被删除和更换，怎样把多个cookie标识到唯一受众，以及如果一个受众有多个终端设备的时候，和一个终端被多个用户使用的时候，标识一个唯一受众都是比较困难的事情。
为了解决这个问题，我们通过受众的社交账号、访问来源的IP地址，以及受众行为数据等进行打通。如果社交账号相同或IP相同，打通就比较方便，否则我们需要结合聚类算法，对用户行为进行聚类，比较常使用的算法是贝叶斯因子相似模型算法。
案例三：
宝洁希望建立一个数据库。
在这个数据库中维护宝洁的每个品牌、每个产品和每个消费者之间的关系。这个关系是贯穿消费者整个生命的。宝洁，利用这个数据库做到真正的一对一的个性化沟通。
案例四：
中国联通移动和固网数据应用解决方案是帮助联通进行库存和数据变现提供的技术和产品解决方案。本方案中，包括了DMP数据管理的搭建，以及AdExchange广告交易平台的建设。
案例五：
使用以Hadoop为主的开源技术方案为国美搭建大数据平台，并在国美大数据平台上部署思明Hadoop数据仓库，同步国美Oracle数据库数据，提供报表计算、统计分析等功能；
为国美网站部署SiteMonitor系统，收集国美网站上的用户行为，并提供流量分析、图表报告等。
案例六：
苏宁数字营销大数据智能平台，打通苏宁电商站外广告监测曝光点击数据和用户站内行为，得到精准的用户路径分析和转化漏斗分析，针对广告活动，媒体和广告创意建立统一多维的数据模型视图，在此基础上达到更有时效性的广告运营，更精细化的预算分配和更有针对性的广告投放营销。
案例七：
马年春晚监测。马年春晚，秒针系统被邀成为春晚，互联网视频收视分析方案提供商。
秒针系统通过多种技术手段的灵巧组合，针对视频内容在互联网中的收视特点，推出了全面的视频内容传播监测解决方案，助力版权方更加全面的收集的观众收视反馈。
今年世界杯，秒针再次被邀成为世界杯互联网收视分析的供应商。
谢谢大家，我今天的分享结束了。由于秒针本身的发展要求，我们已经在大数据方面有比较系统的积累，无论是产品和解决方案，还是大数据的实施。所以，如果大家有大数据建设的需求，可以联系我。如果大家，对我们的产品和解决方案感兴趣，也请跟我沟通。
以后，希望能够有更多的机会和大家沟通交流
交流互动
Grace@品友互动：
明辉，你们那张连接dsp的图没有品友？
吴明辉：
品友是我们重要合作伙伴
陈宝仁-拓尔思：
秒针是如何获得6.1亿用户行为数据的？跟媒体、广告代理、广告交易平台，dsp平台等是什么关系，在哪一环？@吴明辉
吴明辉：
无论是广告投放，还是广告交易，都需要使用广告监测来测量广告投放的效果
只要用户看到广告，就应该会被秒针监测，这样我们就与用户建立了连接，就能够帮助客户存储下来他们的浏览和点击客户
现在大家只要上网，就一定能看到广告，看到广告，就一定会被秒针监测到，所以，我们覆盖了几乎所有的网民
苏继挺：
问个问题：以后移动App的使用越来越多，你们能完整的监控用户的行为数据吗？
吴明辉：
可以的。
John@Math Foundation of Big Data：
@吴明辉 精彩分享！你们三大核心技术—云计算，云存储和人工智能，其中AI具体包括哪些方面？
有没有用到DL？有没有用到CNN
吴明辉：
AI主要包括：Cookie到人，数据打通（PC、Mobile、DTV），Cookie打标签，归因分析研究等算法研究，以及前沿科学探究，包括复杂计算，专利申请等等
您说的是cnnic，还是cnn？
我们会用到cnnic的数据
John@Math Foundation of Big Data
@吴明辉 CNN是Yann Lecun的卷积神经网络(Convolutional Neural Network), 可能你们目前不需要
吴明辉：
deep learning还没有开始在公司应用，在一些实验项目上进行了尝试，比如智能电视开机广告的监测
John@Math Foundation of Big Data
还有一个地方不明白，你们中立，跟品友他们在业务上有什么不同？
吴明辉：
一个比较简单的解释，最近在踢世界杯。我们就拿球员，裁判和球场举例。秒针广告监测就是裁判，测评广告的效果。AdExchange就是一个球场。裁判和球场都是中立的。DSP是球员，他们要在我们的球场上踢球。不知道我这样是否说清楚了
我们使用RTB，AdExchange就是一个实时的（RTB）竞价交易平台
王绪刚
@John 请教一个问题 cnn等 dl在稀疏数据上有成功应用案例吗？
John@Math Foundation of Big Data
还有，你们对隐私保护看得很重。你们严格按法律办事！中国需要你们这样的好榜样，只有尊重用户隐私的大数据公司才走得长。
吴明辉：
数据我们一直认为是客户的，我们要尽我们的义务帮助客户保护好
陈新河：联盟副秘书长；非常感谢明辉的精彩分享！
【入中关村大数据产业联盟500人微信群指南】
您只需在中关村大数据产业联盟500人微信群中分享一次大数据思想、案例，即可进入500人微信群，与众多大数据朋友沟通、交流、合作！（入联盟500人微信群，请把代表您能力和水平的PPT及姓名、单位、职务、联系方式发chenxinhe2020@126.com。详情请订阅微信公众号：软件定义世界（SDX）后，查询500）
【中关村大数据产业联盟主旨与目标】
落实国家战略，聚合产业势能，促进商学互动，
助力企业成长，倡导数据伦理，探寻数字文明
【中关村大数据产业联盟活动】
〖大数据100分〗以500人圈大数据技术、资本、专家和政策专业人士为依托，每晚9点进行的线上活动。
〖大数据地平线〗以大数据执委会和中关村大数据产业联盟成员为依托，进行的走入企业现场调研活动。
〖大数据香山汇〗以“运动、分享、进步”为宗旨的爬山、PPT分享、研讨活动。
〖大数据沙龙〗以“数据驱动，创新未来”为主题的高端大数据沙龙活动。
【中关村大数据产业联盟联盟网站】
http://www.zgc-bigdata.org/
【大数据媒体方阵】
〖软件定义世界（SDX）〗、〖大数据文摘〗、〖大数据栋察〗、〖科技杂谈〗、〖CSDN〗、〖天云融创〗、〖大数据邦〗、〖199IT〗、〖大数据实验室〗、〖云里数里〗、〖中云网〗、〖云华时代〗、〖大数据问答〗等，目前已覆盖20多万订阅用户。
欢迎加入大数据媒体方阵，第一时间获得〖大数据100分〗等中关村大数据产业联盟提供的独家信息，请在公众号留言或加入个人微信号沟通。
【联系方式】
地址：北京市海淀区东北旺西路8号中关村软件园软件广场C座3层
电话：010-56380808
电子邮件：sdxtime@gmail.com
个人微信号：sdxtime
欢迎大家加入科技杂谈菁英汇，交流思想、分享信息。仅限行业商端人士参与。参与方式：点击左下方“阅读原文”填写您的加入信息，科技杂谈通过审核后，会添加入群。
本文仅代表作者观点，科技杂谈授权刊登。
转载必须注明作者与科技杂谈，侵权必究。
科技杂谈文章，均同步发布于犀牛财经网。
已入驻搜狐新闻客户端，网易阅读客户端。