Gartner 2021预测：组装式数据分析将是大势所趋
大数据产业创新服务媒体
——聚焦数据 · 改变商业
近几年，“数据分析”已经成为了国民经济和社会发展的重要风向标：在“十四五”规划中，“大数据”这个词出现了14次，而“数据”这个词出现了60余次。不止如此，Gartner在CEO层中做的问卷显示，82%的CEO认为，毋庸置疑，应该追加自己在数字化举措上的投资，因为在疫情危机下，越来越多的业务不得不被搬到线上。
与此同时，数据分析应用的增长速度也一路高歌猛进：2018年，仅有57%的企业认为数据分析嵌入了业务平台，而2020年，这个数字已经增长到了70%。可以说，数据分析越来越多地嵌入到业务系统当中，并让更多业务用户和数字化平台用户感受到了益处。
那么，数据分析具体如何影响企业业务？在当下，如何利用新一代数据分析技术，让企业可以加快变革速度，并且在更广阔的地方部署数据分析系统？
全球最具权威的IT研究与顾问咨询公司Gartner从甲方市场和乙方市场两个角度，对市场上与数据分析相关的科技进行评估——从甲方市场出发，得到CIO、CDO甚至是CEO的反馈，再从乙方市场的角度，也就是得到技术供应商对未来市场的见解，从而总结了十大数据和分析趋势。
Gartner杰出研究副总裁Rita Sallam表示：“这些数据和分析趋势可以帮助企业机构应对未来三年的颠覆性变革，从巨大的不确定性中抓住其中的机遇。数据分析的领导者必须主动研究如何顺势而为，根据这些趋势加强应对能力，并对关键任务进行投资。”
图丨Gartner杰出研究副总裁Rita Sallam
Gartner总结的十大趋势中，最有代表性、同时也最为贴近我国国情、最能解决我国企业数字化转型中燃眉之急的，无外乎以下三大趋势：组装式的数据分析成为大势所趋；数据隐私保护成为时代命题，而随着大数据时代向小数据时代泅渡，AI技术将会变得更智能、更负责、更可拓展。
01
组装式的数据分析成为大势所趋：复用能力是关键
说到组装式的数据分析，就不得不提到近几年我国互联网圈炙手可热的一个概念：中台。
中台最早出自战争术语，近几年才被作为管理战略被引入国内：2015年，阿里巴巴拜访了号称全世界最成功的游戏公司Supercell。Supercell以最多不超过7个员工的小团队模式战斗在一线，而小团队背后，有一个强大的技术平台，来支持众多小团队进行游戏研发。
如此一来，基础技术由中台赋能，小团队不用从最基础却重要的技术问题做起，而是直接研发新产品中差异化的部分，节省了大量成本和时间。这种模式让Supercell公司成为了年税前利润15亿美元的游戏公司。在此次拜访的半年后，阿里巴巴启动了中台战略。
归根结底，中台的底层逻辑就是，基于公司的资源和能力，打造一个强有力的中台，当全新的场景萌芽时，充足的资源与能力就能快速注入前台，快速打造出满足用户需求的产品。
为什么能快速注入？因为一个公司的旧产品和新产品之间，有很多东西都是可以重复使用的。拿阿里巴巴来说，淘宝有完善的订单创建流程，而一切订单创建流程，都涉及会员信息验证、库存修改支付记录生成。如果在推出聚划算的时候，直接把这种共通部分复制过来用，则大大减少了新产品的研发时间。
不难发现，中台实现数据分析的方式就是组装式的：中台有一个很重要的理念，就是可以在数字化业务中体现出可复用的能力。可复用的能力和可组装性是息息相关的，因为数字只有在被复用的前提下，才可以像搭积木一样把很多能力组合起来，最终交付给业务部门，让它能够起到快速响应突发事件的作用。
“事实上，一旦我们把数据分析和应用开发结合在一起，就可以把重复的工作去掉。一个好的中台不止是一个简单的技术平台，它更像是一个组装式的平台，能让用户在组装过程当中体验到哪些能力是可以通过容器和微服务架构完成优化的。”Gartner研究总监孙鑫如是说。
因此，组装式数据和分析不仅是一项数据分析业务，更是一种把企业的洞察力与行动力关联起来的决策工具：可以说，近几年，组装式数据分析成为了大势所趋。Gartner预测，到2023年，60%的企业将会利用三个或者是更多的分析解决方案，来组成一些组件，以建立一种注入了分析的、决策导向型应用。
具体来说，未来企业在做应急响应或数据分析的交付时，不再需要从零开始搭建，只需要把各种各样的能力组合起来。比如，连接并收集客户作为一个能力、综合外部客户的数据作为一个能力、管理客户生命周期又是一个能力......最终以组装的形式合并在一起。不止如此，确定客户的特点，从客户画像监控客户流失指标并发出警报，预测客户流失率等等，都可以作为一些能力即取即用。
也因此，Gartner做的另一个预测是，到2025年，70%的新应用将是由低代码、无代码技术完成开发的。更有意思的一点是，新应用将会由真正使用它的人去做组装——也就是说，在未来，用户自己将会开发出各种各样的应用。
这也意味着数据时代的全面来临。与此同时，一个绕不开的问题浮出水面：如何解决企业数据需求和用户个人隐私之间的矛盾？换句话说，在对数据安全性的监管越来越强的时代，该如何平衡好数据提取与隐私保护的关系，进而发挥数据分析的最大作用？
02
数据隐私保护成为时代命题：AI更智能、更负责、更可拓展
事实上，数据隐私保护的加强亟需提上日程。拿最近的新闻来说，据外媒报道，美国知名社交媒体平台脸书（Facebook）有5.33亿用户数据遭泄露，其中包含一些知名人士的信息。
据悉，一个低级别的黑客论坛3日曝光了5.33亿脸书用户的个人数据，这些用户涉及106个国家和地区，泄露的信息包括用户在脸书的账户名、位置、生日以及电子邮件地址等。
脸书公司在一份声明中称，上述数据来自2019年发生的信息泄露事件，当年8月已经进行了修复。2018年3月，脸书曾被曝出与咨询公司剑桥分析公司违规分享8700万用户数据，被判赔付50亿美元罚金。
也因此，互联网行业专家表示，现如今的互联网成就很大，但是带来的隐私问题相当严重。与此同时，随着隐私保护不断加强，广告商收集数据也越来越困难了。Gartner预测，到2023年，在拥有20名以上数据科学家的组织当中，将有60%的组织被要求制定关于数据和AI使用中，有关伦理道德的规定。
这意味着数据分析将“带着镣铐跳舞”。然而，数据是分析的基础，当数据的使用性有限时，AI现有的优势就很难被利用。如何解决这一问题？
事实上，Gartner认为，无论将来是否加强隐私保护，我们都需要更智能、更负责任、更可拓展的AI，以支持一些更复杂和数据更为稀缺的用例，因为现有数据密集型的分析方法是非常消耗算力的，在面对变化时会显得非常脆弱。更广泛的用例要求我们用创造性的AI创新来拓展AI工具箱。
因此，Gartner建议企业，通过使用新型技术，如合成数据、主动学习、自适应学习等技术，去拓展AI的用例，使AI可以变得更智能、更强大，从而在历史数据稀缺等情况下仍然可以顺利运行。
拿合成数据方法举例，合成数据就是通过AI工具生成一些新数据，来满足特定时期的需求和条件。目前，国外已经有了这样的厂商，当企业数据不足的时候，可以利用合成数据工具去生成一些应急数据。Gartner认为，当隐私的保护需求限制了数据的可用性时，我们也可以利用合成数据来解决训练模型中数据不足的问题。
再比如迁移学习方法，可以使AI的解决方案从三段任务中学习到足够多的数据，并利用这种学习到的数据来帮助企业克服一些棘手问题：
比如说，一家医院想去开发一个治疗疾病的模型，但是数据有限，于是就在自己的本地数据上训练模型，再把这个模型转移给下一家医院，下一家医院继续在自己的本地数据上训练模型......依此类推，不断结合模型进行一些改进。由于不需要集中共享本地数据，这种方法增加了数据的隐私性，更方便保密。
也因此，数据平台更负责、更智能、更可拓展是大势所趋：不仅可以增强数据科学家的生产力，也可以利用自动化AI，让一些非专家的使用者也可以拥有专业分析能力。这也引出了下一个大趋势：随着数据隐私保护的不断加强、AI技术的不断革新，数据时代的脉搏正在由大数据向小数据过渡。
03
隐私时代的让渡：由大数据到小数据或宽数据
隐私保护成为时代命题的背景下，Gartner提出了一个“小数据”（或“宽数据”）的概念：随着企业逐渐认识到大数据的局限性，被称为小数据和宽数据的方法正在慢慢涌现。
什么是小数据？具体说来，小数据抛开了对于大型单体数据的依赖，仍能提供有见解的分析技术：应用相对较少的数据，实现对于小型、大型、结构化、非结构化等数据源的分析和协同。方法论上，不同于大数据用一刀切的方式、使用数据要求较高的深度学习技术，小数据会有针对性地使用数据要求比较低的模型——比如一些时间序列分析的技术。
Gartner预测，到2025年，70%的企业将不得不把关注点从原先的大数据转向现在的小数据。事实上，AI对数据的需求将进一步减少：到2025年，超过85%的技术供应商（乙方市场）将在AI解决方案当中加入让数据变得更丰富的方法和模型训练技术，以提高模型的弹性和敏捷性，虽然在2020年，这么做的供应商还不到5%。
为什么我们需要小数据？
第一，大数据时代，虽然实现了存储、管理更多数据的目的，但并没有真正让某个组织从中获得更多的价值。举个例子，企业可能花了很多钱组建了一个基于Hadoop的大数据平台，但很多数据没有被企业真正放到生产环境当中。
相对而言，小而广的数据方法可以减少组织对大数据的依赖，让其摆脱重负后完成更强大的分析，从而实现更丰富、更完整的态势感知。
第二，疫情让之前的很多数据都过时了，企业需要通过更少的数据去建立AI和分析的技术，并收集足够多的历史数据和标签数据用于分析和AI。
第三，未来数据的来源、质量、数据偏见和隐私保护等问题都会被提上议程，并变成非常大的挑战。如果还是使用过往的大型数据解决方案，企业的成本就会变得非常高，因此，企业必须学会用小数据进行深度分析。
当然，小数据目前还没有广为人知。Gartner曾提出“技术成熟度曲线”：一项新技术诞生伊始，总会先处于不成熟的技术萌芽期，再进入历资本疯狂涌入的“泡沫巅峰期”，随后，这项技术暴露出各种问题，进入“泡沫破裂低谷期”。低谷期后，技术进入触底反弹的“稳步爬升期”，最后，技术才进入“规模应用期”：在此阶段，新技术的价值与增长潜力被市场实际接受，落地模式也逐渐成熟。
按照Gartner的技术成熟度曲线，小数据目前还在一个“技术萌芽期”的阶段，可能还需要5-10年才可以真正达到大众耳熟能详的程度。然而，虽然小数据目前的市场渗透率不到1%，但它对AI以及更广义的数据分析的影响是显而易见、且历久弥深的。
“如果你拷问数据到一定程度，它会坦白一切。”诺贝尔经济学奖得主Ronald H. Coase曾下次论断。虽然数据分析不断进化、更迭并进行自我完善，可以预见的是，数据终将重塑一切。
文：威化化 / 数据猿
●上一篇精彩好文：
❷ 创新服务企业榜
❸ 创新服务产品榜
❹ 最具投资价值榜
❺ 创新技术突破榜
☆条漫:《看过大佬们发的朋友圈之后，我相信：明天会更好！》
联系数据猿
北京区负责人:Summer
电话：18500447861(微信)
邮箱：summer@datayuan.cn
全国区总负责人:Yaphet
电话：18600591561(微信)
邮箱：yaphet@datayuan.cn