数据现代化-富国银行的数据转型之路
导读
越来越多的金融服务企业在利用数据和分析技术来获得新的业务洞见和创新的同时也通过数据获得对客户的更深刻的理解，从而提升用户服务的体验。
拥有166年历史的富国银行从2014年设立大数据实验室以来[1]，就在持续的从数据分析中获得收益。从2016年开始，富国银行启动了数据转型项目，希望成为数据智能时代的银行[2]。凯哥通过对相关公开信息的研究，部分还原了富国银行的数据转型过程。
文章一共10000字，阅读约30分钟，阅读超过100份文档，引用20份，引用两段富国银行的采访视频（如有版权问题，请告知，随时撤下）。
文末有彩蛋。
富国银行对于数据的重视
7月初，2019全球前1000的银行排名出来了，富国银行以1680亿美元排名第七。
富国银行有166年历史，也一度称为“美国最佳零售银行”，以创新和客户服务著称于世。2013年，招行行长马蔚华在接受《财富》专访时，毫不讳言招行的很多创新灵感和源头就来自富国银行，他说，“ 只有富国是水泥加鼠标，即传统的银行加上网络的改造，这与我们是一致的。我们后来做的很多事，富国银行都给我们很多启发”
富国银行是很早就重视数据应用的企业，早在1983年，富国银行就建立了自己的企业级数据仓库系统[2]。
不像很多企业，对于数据的认知主要是CTO或者CIO这样的技术角色，富国银行的CEO蒂姆斯隆对于数据的重要性有着自己的解读，“数据现代化（Data Modernization）是富国银行提升效率的重要因素，它包括减少我们内部的管理平台和数据库的数量，将来自多个企业的客户数据整合到一起，并根据汇总信息进行欺诈检测。除了使我们的流程更加简化和有效之外，数据现代化还可以提高我们将创新产品和服务推向市场的速度，我们相信利用数据技术你能够帮助我们的客户更好地管理他们的财务状况，从而使我们能够建立更长久的信任合作关系和业务持续性。”
富国银行更是少有的将数据战略写入董事会战略里的银行之一[9]，“确保我们所有的系统运营都是实时的，有能力处理和保护海量的数据，从而为我们的高效运营和领导创新做出贡献”。
"Making sure all of our systems operate on up-to-date platforms, are able to process and protect massive amounts of data, and contribute to our vision of operational excellence and leadership in innovation"
富国银行数据转型的四大举措
富国银行高级副总裁兼企业分析与数据科学负责人Prahalad Thota表示，“我们的使命是通过数据和智能技术帮助银行的各个部门更好的了解客户和更好的管理风险，优化服务，提高响应力”。
富国银行的数据转型尤其专注于客户的重点数据，“为了满足不断增长的客户期望，在与金融科技初创公司和其他数字化公司竞争中拔得头筹，我们必须全面，充分，深入的利用我们的数据”，富国银行数据管理和洞察负责人Zac Maufe说[3]。
但是之前的实际情况是，像大部分银行一样，富国银行过去的数据平台和应用是围绕业务线建立的，每个业务部门，产品线都建立了独立的数据系统，导致虽然富国银行拥有超过7000万的大量客户数据，但是它们分布在多个银行部门和系统中，很难找到和共享。
例如，信用卡部门不知道他客户的抵押贷款和投资经验信息，业务人员只能了解他的客户的局部信息。
为了打破这样的局面，能够通过数据全面的描述出客户的画像，在2017年，富国银行建立了全行集中的数据运营和洞见团队，开发整体的数据战略和平台架构，从而支撑高级数据分析功能，这是一个非常有挑战的工作。
富国银行的数据转型主要包含以下四部分工作内容：
“如今，每一个人都了解数据分析和机器学习的强大功能，了解客户的需求去构建系统从而实现与客户的个性化交互，但是很少有银行建立全面的数据方法”，富国银行战略副总裁Pankaj Rai在一次访谈中提到，“大部分公司的数据都有问题，原因有几个，其中首要的就是大部分公司在设计IT系统的时候，没有真正考虑到数据将成为IT系统的重要元素，IT系统没有预料到到来的大数据革命，所以，他们没有能够设计好数据架构。”[5]
这就是数据战略的重要性，富国银行通过建立全行级别的数据战略，研究银行目前的状况，以及未来数据能够做什么。
通过数据战略的建设以及定期的迭代优化，富国银行能够清晰地知道自己都拥有哪些数据，这些数据在哪里，从业务角度有什么样的价值，未来还需要哪些数据，这些数据将通过什么渠道来获取，再根据数据的需求地图去完善后续应用系统建设的数据战略，从而从一开始就拉通数据，避免后续应用系统中的数据孤岛问题。
富国银行的数据战略制定主要包括如下内容：
企业级数据治理
富国银行在数据治理领域做的非常全面和细致。
富国银行的数据治理策略由首席数据办公室牵头制定，包括企业数据治理策略、企业数据标准等。这些标准进一步定义和记录了管理和维护关键数据资产的有效方法，并将与他们的其他公司合作、贷款，信息安全，记录管理以及数据保护和隐私相关的政策保持一致。从而以正确的方式利用富国银行的数据并遵守适用的法律和监管要求，数据治理对于实现企业愿景，价值观和目标一致的运营效率和增强的客户体验至关重要。[11]
企业级数据治理的重要工作目标包括：
1、梳理和建立企业的数据资产目录，让需要的人随时能够清晰的知道在哪里获取什么数据和数据产品及服务
2、确保银行的风险数据有统一的定义（元数据），且可追溯至纪录系统。这样，无论计算方式为何，数据的传输过程都会有清楚的记录。
2、将最常用的数据整合成一个单一版本的数据。监管机构或银行员工查询某个具体数字时数据团队需确保他们只能从一个地方取得数据，从而避免他们从多处获得不同的答案。
3、建立互通的数据沟通语言，从而让不同业务线，内部外部都能够获取到一致的数据。
通过执行这些数据治理工作，银行能够更好地管理风险；并使用数据来解决问题，并挖掘银行各项业务之间的机遇。
富国银行的数据治理不仅包括战略层的标准和流程制定，还包括数据基础架构的技术战略的管理，统一的集成交换技术标准等，从而保证数据治理不只是停留在理论层面，而是通过技术手段去落地执行到具体的项目实施层面。
企业数据资产管理
富国银行在2017年分析了自己的金融数据全景[12]，制定了企业级数据资产管理的全生命周期的流程，从Mainframe到数据湖，到分析运营数据，到价格策略数据，再到用户日志数据，将数据源，数据类型，数据分析方法，技术手段统一进行了分析和设计，从而保证了企业级的数据处理的标准化和顶层设计的一致性。
企业数据管理
富国银行有一个数据岗位叫数据管理和洞察岗（Data Management & Insight，简称DMI)[13]。从LinkedIn的岗位描述上看，这个岗位的主要职能是围绕业务目标，去使用和管理数据，为客户提供洞察，满足监管的要求，不同的业务线都有对应的DMI顾问。
所以，可以理解为富国银行的数据管理是一个融合了业务和数据的岗位而不是一个纯粹的技术岗，是面向业务目标的数据应用工作。
数据技术战略管理
富国银行讲数据的技术战略管理纳入到了数据战略的体系中，从全行层面统一制定采集、存储、处理、加工、分析数据的技术战略选型，从而保证技术的一致性标准化，这有利于数据系统的升级迭代和集成协作。
面向未来的业务场景规划
富国银行的数据战略中有一个很重要的内容，就是不仅要分析数据现状，并且要面向未来设计业务场景，规划数据应用蓝图。就像富国银行战略副总裁Pankaj Rai在访谈中所说，“要将数据的架构，设计放到IT系统设计之前”[5]。
企业级数据集成
在富国银行的招聘网站上，我们看到，最多的数据岗就是数据集成顾问(Data Integration Consultant)。数据集成是一个基础性工作，也是工作量最大的一个细致的工作。但是，7000万的用户数据有着越来越丰富的维度，加上其他数据，这样的排列组合是一个天文数字，如何让数据集成顾问能够快速标准化的将源数据进行二次加工成有价值，通用的数据服务呢？
制定敏捷的企业数据集成战略是非常重要的顶层设计，富国银行的数据战略中包含企业数据集成的标准和协议，从而能够指导数据集成顾问用共同的语言、方法和工具来工作，最大限度降低产生数据孤岛的可能性。
数据安全管理及数据授权
富国银行对数据的利用是最早的，从数据中也获得了核心的竞争力，与此同时富国银行也出现了多起数据泄露的事故[14]。所以在富国银行的数据战略里，数据安全管理是作为公司治理级别的高度来管理的。尤其在数据授权方面，对于不同类别的业务数据制定了分级、分类型的数据授权点及验证审批机制[6]。
富国银行在1983年就建立了自己的企业数据仓库，拥有包括SAS，Teradata，Oracle等各种数据平台。这次数据转型项目，他们希望构建统一的数据基础架构和以Hadoop为代表的现代化数据平台，从而让数据能够更集成的被业务应用所使用和消费。
我们发现富国银行所实施的内容，和我们所讲的数据中台是基本一致的，所以我们将这部分工作总结为富国银行的企业级数据中台构建，主要包括如下内容：
企业数仓迁移（EDW Migration）
富国银行持续的在进行遗留数据系统的现代化迁移，将传统的Teradata，Oracle，SAS这样的单体数据平台迁移到云上或者是基于Hadoop的开放数据架构上[7]，从而将企业的数据进行整合和统一。通过这样的项目，间接的收益是富国银行关闭了100多个数据中心[8]。
由于原来富国银行的数据是分散在各个公司、部门、业务线的，所以整个企业数仓的迁移是基于整体的数据战略规划基础上的，从而保证迁移后的数据间是拉通的，是基于整体顶层设计的。
企业级数据湖
富国银行内部数据数量庞大，包含以下类型的数据：
内部数据：客户的账户和资金收付交易等结构化数据;客服音频、网点视频、网上银行记录、电子商城记录等非结构化数据
外部数据：美国三大征信局对每个客户的信用评分及信用报告信息、评级机构提供的信息、工商法院提供的信息、客户社交关系信息、客户消费信息等。
正如Paul Cao（富国银行资本市场业务数据服务总监），“鉴于他过去在各种大数据解决方案方面的经验以及最新技术趋势，他和他的团队非常了解更传统的关系数据库的局限性。因此，他们将注意力集中在支持NoSQL和Hadoop的解决方案上”[16]。富国银行建立了以Hadoop为基础的集中管理的，分布式数据存储架构，通过多样化的技术，统一的集成标准管理了企业级数据湖。
用户数据平台
富国银行围绕客户，打通了各业务线的数据，建立了“横向客户视图（a horizontal customer view）”，也就是我们所说的用户数据平台（Customer Data Platform）[15]。通过用户数据平台能够让业务人员掌握用户的全面、一致的信息，从而做出最准确，实时的业务决策。
元数据管理
通过对元数据的统一定义和管理，富国银行建立了一套全企业一致的描述数据的语言，从而从最底层就建立了数据治理体系，保证了数据在高速变化的情况下的唯一性和一致性。
数据集市
在数据湖的基础上，富国银行建立了面向业务价值的数据集市，所有的数据服务（Data API）基于数据集市来产生，从而能够更快的实时的为业务提供数据支持。
数据API
正如Pankaj Rai所说，“API是最佳的协作方式之一，未来的企业将由API来驱动”。富国银行构建了自己的API网关门户，将数据转换成API供内外部使用，构建自己的动态生态。
数据在富国银行的表现形式不仅是“可视化”，将数据API嵌入到业务系统中，实时的影响业务的进行，从而使业务更加智慧[17]。
机器学习
富国银行在2018年宣布成立了自己的AI企业解决方案团队，帮助他们将机器学习等人工智能技术应用到业务的各个领域[18]。2018年2月份向所有消费者客户推出了基于人工智能的预测银行功能（AI-based predictive banking）。它能分析客户的银行活动并向他们发送警报或建议，以便他们采取行动以实现积极的理财策略，例如节省更多，并避免损失，例如透支。
自然语言处理
人们越来越喜欢使用语音与数字设备交互，而不是在他们的键盘上打字。通过这种方式，AI可以作为我们的声带与系统和技术之间的桥梁。在银行业，语音验证比密码更简单，更安全，更无缝。它还可以为人们提供更多选择和便利，支付账单，汇款转账或进行其他交易。富国银行是最早将自然语言处理应用到数据领域的金融企业之一，他们基于NLP技术构建了智能客服系统。
数据自动化
人工智能可以学习如何收集，组织和解释随着时间推移出现在相同位置和格式的数据，从而减少人们花时间在重复性任务上的需要。在富国银行的AI创新实验室中，正在探索AI如何实现与银行家的实时互动。一个例子是使用AI来帮助客户自动开户审批的情况。从历史上看，业务人员需要花费大量时间访问数十个文档和系统，而通过部署人工智能解决方案，业务人员可以专注于客户及其需求，而人工智能系统则可以提出所有正确的问题以及要审核的内容。
在数据战略和现代化数据平台的同时，富国银行正在建立面向数据分析的运营模型(Analytic Target Operation Model)，从而把数据智能能力赋予到所有业务部门。目前优先级比较高的有用户体验改进，用户和市场洞察以及合规风险管理三个领域[4]。
数据驱动的用户体验设计
富国银行的客户洞察团队，通过对7000万的用户数据的整合分析，将不同的数据，转化为可靠的洞察力，重新设计了商业银行的门户网站。
典型场景：分析用户行为数据优化门户网站设计
富国银行的首席市场官(CMO) Jamin再一次采访中提到，通过数据和人工智能，机器学习技术，他们将多个渠道的用户行为数据、交易数据整合起来，从而更加全面细致的了解他们喜欢什么，想要什么，如何使用富国银行的服务。在此基础上，他们能更好的优化门户网站的设计，为用户提供更加个性化，更加高效的用户体验。
他们把网站的用户行为数据，从访问量，访问路径，停留时间，各功能的使用情况都进行了全面采集，结合交易情况，销售情况，收益情况进行综合分析，从而对整个网站进行了重新的设计。
合规和风险管理
富国银行将数据和智能技术深入的应用在合规和风控、自动审计领域，比如反洗钱、信用卡反欺诈等[20][21]。富国银行研究了一种可以检测并持续检测潜在欺诈案件可能性的人工智能模型，这将大大减少移交给员工调查的高风险案件的数量。
典型场景：人工智能赋能银行卡欺诈检测
银行卡反欺诈是典型的业务场景，对于零售和商业银行而言都希望识别出破产、违约、预付、重组贷款等高风险事件从而降低由于借款人未能履行合同义务而带来的损失。
富国银行越来越重视在业务中对人工智能/机器学习的技术的应用，因为传统的统计分析、数据挖掘方法很难处理这样海量的数据集下的复杂模型，并且也无法做到实时的数据分析。
富国银行通过梯度下降(Gradient Descent)、Boosting、随机森林等集成算法，利用超过1500万次的测试，超过50个独立的特征变量，构建了欺诈监测模型，比传统的逻辑预测算法有更好的表现。
https://bigdata.wayne.edu/2018_presentations/joel_vaughan-wells_fargo.pdf
用户和市场洞察
通过整合客户的有效信息，富国银行可以了解他们的交互历史，并可以分析过去的交易以确定他们采取某些行动的原因 - 了解为什么某些类型的客户或分支机构反映不同的结果和遵循模式。然后，他们可以预测行为，甚至根据客户资料，细分和先前的行动来规定产品。
超大型企业里应用和推广数据智能技术的挑战和应对
目前富国银行的AI企业解决方案团队正在各个领域通过高级数据分析赋能业务。而在一次采访中，他们提到了在富国银行这样的有着26万员工，7000多个办公室，13000多ATM的超大型企业里应用和推广数据智能技术的挑战。
“我们有太多的部门和机构，有非常多的领导。大家的想法不同，意见不同，利益不同，对于业务的理解也不一样，很多的人都不知道你讲的数据和人工智能是什么。”
“当我们提出要用CNN（卷积神经网络）来做模型的时候，就有人提出来，你为什么不用逻辑模型呢？”
“AI的应用有着很多的不确定性，如何让管理层认识并接受AI的实际价值，避免出现过高的期望是很重要的一件事情”
对于以上的常见的问题，富国银行的经验是：
要让习惯于跟数据说话的数据人员也学会与业务人员交流，让他们能够站在业务的角度思考，思考这些数据和模型能够给业务带来的价值而不仅仅是模型本身的准确度
同时利用CNN和传统逻辑模型的方式来构建同样的模型，通过对比体现机器学习的差异化优势，从而获得直观的效果的体现，赢得支持（A/B Testing）
让企业管理人员参与项目的重要过程，让他们置身其中，从而在一线亲身体会数据转型项目的特点
富国银行的高阶数据分析应用访谈
https://www.youtube.com/watch?v=lGjuLXquCgI
作为一个以科技和数据作为核心竞争力的金融机构，富国银行是最早设置了CDO（首席数据官）的银行（2014年），在首席数据官办公室的领导下，拥有5000多名数据方面的技术人员，他们是富国银行的数据转型的能力基石。
通过对富国银行官方招聘网站的分析，凯哥列出了富国银行的数据团队的重要角色[10]。
富国银行的数据团队重点角色
Chief Data Officer/首席数据官
Data Strategist/数据战略顾问
Data Governance Specialist/数据治理专家
Data Integrity Consultant/数据集成顾问
Data Privacy Officer/数据隐私官
AI/ML Data Engineer/人工智能算法工程师
Data Scientist/数据科学家
Big Data Centre Engineer/大数据中心工程师(数据平台工程师）
Data Professing Clerk/数据处理专员 (小时工)
Test Data Management Developer/测试数据工程师
Data Mangement & Insights(DMI) /数据管理和洞察顾问
Application Business Data Owner/应用数据负责人
Data Modeler/数据建模顾问
Master Data Management/主数据管理
Data Analytics Consultant（数据分析顾问）
Enterprise Compromised Data Team（数据风险管理团队）
与业务深入融合的数据智能团队结构
凯哥发现富国银行的数据团队和业务团队是融合的，每一个业务部门都有对应的数据团队在支撑。
拿企业分析和数据科学团队为例，EADS团队包括三部分：
集中的数据科学团队
和LOB数据科学家和分析师一起工作的团队
在不同的业务项目上工作的团队
这样的结构，类似于在数据能力的中台，上深入快速的与业务团队协作，提供更快更落地的数据服务。
凯哥画了一张富国银行的数据转型之路
富国银行总资产在稳步增长(2014-2019)
“最具创新的银行”
感谢伟大的Google，这篇文章查阅了不下上百篇文章，最后引用了以下的内容：
[1] https://dataconomy.com/2014/06/wells-fargo-open-big-data-lab/
[2] https://www2.deloitte.com/insights/us/en/topics/analytics/data-management-techniques-approaches-tools.html
[3] https://stories.wf.com/banking-in-the-age-of-data-and-ai/
[4] https://www.bai.org/banking-strategies/article-detail/focused-data-focused-on-customers
[5]https://bigdata-madesimple.com/interview-with-pankaj-rai-senior-vice-president-strategy-at-wells-fargo/
[6] https://www08.wellsfargomedia.com/assets/pdf/small-business/merchant/program-guide.pdf
[7] https://teleran.com/wp-content/uploads/2019/02/Azure-Migration-Analytics-Optimization-_-Teleran-Case-Study.pdf
[8] https://searchdatacenter.techtarget.com/news/4500243727/Wells-Fargo-continues-massive-data-center-consolidation
[9] https://www08.wellsfargomedia.com/assets/pdf/about/investor-relations/presentations/2019/proxy-presentation.pdf
[15] https://www.youtube.com/watch?v=CZ2BjigU6vw
[]https://fimaus.wbresearch.com/speakers/bj-fesq
[10] https://www.wellsfargojobs.com/search-jobs/data?orgIds=1251&kt=1
[11] https://www.wellsfargo.com/about/corporate/appropriate-data-use/
[12] http://on-demand.gputechconf.com/gtc/2018/presentation/s8751-bringing-data-to-life-data-management-and-visualization-techniques.pdf
[13] https://www.linkedin.com/jobs/view/information-architect-6-data-management-and-insights-at-wells-fargo-1091445264/
[14] https://iapp.org/news/a/wells-fargo-accidentally-discloses-1-4-gb-of-customer-data/
[16] https://mapr.com/ebooks/big-data-all-stars/03-wells-fargo-making-good-things-happen.html
[17] https://welcome.wf.com/tech-banking-insights/article/how-will-apis-change-banking.html
[18] https://internationalbanker.com/banking/how-ai-is-disrupting-the-banking-industry/
[19] https://www.tableau.com/solutions/customer/storytelling-big-data-wells-fargo
[21] https://www.computerworld.com/article/3395478/financial-firms-bank-on-ai-as-pilot-projects-head-to-production.html
[22] https://telanganatoday.com/wells-fargo-in-midst-of-data-transformation
富国银行的数据转型之旅给了您什么启发呢？
请和凯哥一起探讨
数据中台的灵魂拷问