其他
阿里数据专家的数据平台实战笔记
点击上方蓝色字体，选择“设为星标”
回复”资源“获取更多惊喜
本文是友盟数据技术专家谭纯发表在UBDC会议上的观点，文中全景呈现了友盟数据智能平台的架构、能力和面临的挑战。 简介：2020年注定是不同寻常的，突如其来的疫情按下了人们生活的暂停键。对于用户激增的App而言有喜有忧，如何快速沉淀数据资产，因为疫情是脉冲式的需求，等疫情结束之后，如何把这些激增的用户转化为留存是很大的挑战。对于非利好的App，如何让数据成为护城河。回答这两个问题，数据智能平台的建设尤其重要。
背景
从友盟+公开的移动互联网数据报告来看，疫情期间移动互联网设备活跃度稳步提升。其中游戏行业增幅15%，是2019年的2倍；影视增幅8%，是去年的3倍左右；办公通讯上涨明显，增幅150%，网上药店活跃设备增幅由负转正，增幅61%；旅游与汽车的降幅是去年的3-4倍，分别下跌55%及29%。疫情后的机会点：
1.拉新变留存。对于用户激增的App而言有喜有忧，因为疫情是一个脉冲式的需求，等疫情结束之后，如何把这些激增的用户转化为留存是一个很大的挑战。实时化的数据资产的沉淀成为挑战。这时候需要修炼好数据的内功，重视数据资产的沉淀，运营好自己的私域数据池。2.智能化运营。有的数据的底料，我们可以更加的进行精细化的一些运营。比如分层运营，智能营销，实现业务的数据化，并且让数据指导业务的发展提供前提。3.练好数据的内功。建设数据智能平台。数据也是资产，数据智能平台的建设，好比把矿石炼成98号的汽油，再通过清洁的能源向业务不断赋能的过程。什么是数据智能平台
数据智能研发平台，是基于数据基础能力，打造专业、高效、安全的一站式智能研发平台。支持实时与离线数据集成、开发运维、工作流调度、数据质量、数据安全的全链路数据管理，满足数据治理、数据血缘、数据质量、安全管控，标签应用的需求。面临的挑战
挑战主要集中在4个方面，从算力、数据、算法以及业务：基础设施的建设不是一触而就的，需要大量的人力物力财力。主要是机房、机架、网络、带宽。
数据分成两个部分，基础数据以及标签的数据，那么基础数据存在的问题是缺乏统一的建设标准以及质量的评估。我们知道欧盟有很多的成员国，成员国之前是各自发行货币的，不利于整体经济的发展。数据也是一样，需要同样的标准去建设，促进数据的一个流通，这是基础数据存在的问题。对于标签数据而言，我们的生产管理服务应用整个链路是断裂的，无法最大的提高一个标签生产的效率。
算法工程上，烟囱式的垂直类的一个开发，比如说广告和搜索，它在特征到工程上面都是重复开发的。
业务上，数据的建设周期比较长，赶不上业务的一个发展。
体系介绍
底料篇以友盟+为例。经过了9年专业的大数据的服务，积累下了PC网站的 APP的数据以及广告监测类的数据。面临的一个问题，如何把大体量的数据稳定高质量的同步到计算平台，自研的一键的数据同步的工具，打通业务系统到大数据之间的元数据平台，同时业务系统的增删改也会通知到大数据测，建设篇：公共数据中心的建设，核心是为了解决指标一致性的问题按业务域和分析维度构建公共数据中心。什么叫业务板块？比如亚马逊，它是有电商和云两块业务的，那么这两块业务其实就是业务板块，我们一个抽取电商业务来看，有日志、交易、物流、广告等最基础的一些数据组成，这就叫做数据域。数据域是业务过程的集合，以交易为例，分付款，退拍下和退款，这三个业务过程共用的一个订单ID，所以在一张事实表里。交易的过程有维度刻画，有商品、买家、卖家这些维度构成了维表，比如买家的昵称、注册的时间。维表冗余在实时表中的好处是减少大数据量的join，保证数据的稳定高效的产出。通过建设可以让由矿石变成92号的汽油，这个时候数据就可以被使用了，这是基础数据建设的部分。所有的运营产品、市场等业务的同学使用的数据全部叫做指标，这些指标全部是派生指标。跟大家一起拆解一个指标，叫最近30天会员在无线端的登录次数，那么最近30天就是时间周期，会员是统计粒度，统计粒度对应的最左边的维度信息。无线端就是业务限定，登录的次数就是原子指标。登录次数加业务限定就等于上面图表中最左边的业务过程。那这个指标拆解的过程怎么去映射到我们的技术数据，怎么关联呢？再举两个例子。很多人可能简单自学SQL后，就可以自己跑数据：通常情况下，SQL质量无法保证，如果查询的数据量非常大，可能后台几千台机器就转起来了。为避免类似情况发生，我们会在提交任务过程中做代码校验，对于性能问题、规范问题、代码质量问题都会给出必要的提示，比如SQL代码对于除数为0没有做代码兼容，比如我们的DDL语句中没有做数据生命周期的设置，比如SQL的QUERY中没有做分区的条件限制，甚至你的SQL代码别人已经计算过，可以复用结果不需要重新计算这些问题，我们都会给出精确到提示。在数据研发过程中，代码编写可能只占工作量的20%，那么大部分时间都去干吗了？是数据验证，代码修改前和代码修改后，数据到底差多少，差在哪儿？过去如果没有工具只能写一堆脚本，再去验证，效率极其低下，而且极易出错。现在有了“数据对比”工具，就可以通过简单的勾勾选选知道前后差异到底在哪？然后迅速给测试报告，保证整个研发过程的数据质量是有保障的。有了工具的建设，最后是运维。核心是要用最优的资源保障最重要的数据及时的产出。
标准化篇
以IP to 地域为例，有阅读类的App做本地的资讯，这个服务在市场上面是很普遍的，但准确度只能做到65%；再以游戏App为例，比如说品牌/机型代表购买力，屏幕/内存容量供开发者优化迭代产品。这些参数要是开发者去采集的话，会遇到特别多的问题，比如手机机型是0011X， 0011X代表iPhone11，那么集合于这两类的需求，这个时候就需要运用全域数据的能力，在高维的空间精准识别匹配信息。反作弊篇
打通篇
标签篇
标签是通过行为分析认知用户的一个过程。是数据分析的一个起点，比如最近30天来过北京2次的人群，只要有业务价值，它就是一个标签。标签的分类，分有统计性和预测性，区别在统计型标签不需要样本集和准确度。那标签有什么作用呢？一、市场细分和用户分群：市场营销领域的重要环节。比如在新品发布时，定位目标用户，切分市场。这是营销研究公司会经常用的方式。二、数据化运营和用户分析。后台PVUV留存等数据，如果能够结合用户画像一起分析就会清晰很多，揭示数据趋势背后的秘密。三、精准营销和定向投放。比如某产品新款上市，目标受众是白领女性，在广告投放前，就需要找到符合这一条件的用户，进行定向广告投放。四、各种数据应用：例如推荐系统、预测系统。我们认为：未来所有应用一定是个性化的，所有服务都是千人千面的。而个性化的服务，都需要基于对用户的理解，前提就需要获得用户画像。常用的一些标签体系（以下均为大数据预测结果）：第一类：人口属性。比如说性别、年龄、常驻地、籍贯，甚至是身高、血型，这些东西叫做人口属性。第二类：社会属性。因为我们每个人在社会里都不是一个单独的个体，一定有关联关系的，如婚恋状态、受教育程度、资产情况、收入情况、职业，我们把这些叫做社会属性。第三类，兴趣偏好。摄影、运动、吃货、爱美、服饰、旅游、教育等，这部分是最常见的，也是最庞大的，难以一一列举完。第四类，意识认知。消费心理、消费动机、价值观、生活态度、个性等，是内在的和最难获取的。举个例子，消费心理/动机。用户购物是为了炫耀，还是追求品质，还是为了安全感，这些都是不一样的。如何判断标签体系的好坏？在实际构建标签体系时，大家经常会遇到很多困惑，我列举5个常见问题：第一、怎样的标签体系才是正确的？其实每种体系各有千秋，要结合实际应用去评估。第二、标签体系需要很丰富么？标签是枚举不完的，可以横线延展、向下细分。也可以交叉分析，多维分析。如果没有自动化的方式去挖掘，是很难做分析的，太多的标签反而会带来使用上的障碍。第三、标签体系需要保持稳定么？不是完全必要，标签体系就是产品/应用的一部分，要适应产品的发展，与时俱进。比如， “新冠”这个词，今天却很热。我们是不是要增加一个标签，分析哪些人有购买新冠相关的防疫药品。有一种情况下，标签要保持稳定。如果你生产的标签有下游模型训练的依赖，即我们模型建完后，它的输入是要保持稳定的，不能今天是ABC，明天是BCD。在这种情况下，是不能轻易对标签体系做更改的。第四个，树状结构or网状结构？树状结构和网状结构从名字上就可以看出其分别。网状结构，更符合现实，但是层次关系很复杂，对数据的管理和存储都有更高要求。知乎，如果仔细去看它的话题设置，其实是网状的。网状的特点就是一个子话题，父级可以不止一个，可能有两个。比如儿童玩具，既可以是母婴下分分类，也可以是玩具下的分类，它就会存在两个父节点之下。树状结构相对简单，也是我们最常用的。网状结构在一些特定场景下，我们也会去用。但是实现和维护的成本都比较高。比如，有一个节点是第四级的，但它的两个父节点一个是二级，一个是三级，结构异化带来处理上的麻烦。第五个，何为一个好的标签体系？应用为王，不忘初心。标签是为了用的，并不是为了好玩，最好保证标签体系的灵活和细致性。
智能篇：
规划和感想
第一，快速建模的能力。实时自动的标签产出，或者结合业务场景的实时化，能最大保障智能化运营的及时性；第二，不能只说这个用户对汽车感兴趣，而是需要细分到车型、价位，甚至他去买车时，会关注驾驶乘坐的舒适性、操控的灵活性，还是内饰的细节。【大数据哔哔集20210127】Kafka企业搭建之核心参数详解
【大数据哔哔集20210126】全图呈现美团酒旅数据治理实践