案例丨金融科技发展下的大数据基础设施超可用方案创新与实践
文 / 上海爱数信息技术股份有限公司
9月24-26日，首届INCLUSION·外滩大会隆重召开，汇聚海内外思想领袖及科技商业大咖，吸引了3万名观众前来参会。本次大会中，爱数凭借专业实力与技术创新，以《超可用护航金融科技基础设施》解决方案勇夺冠军，成功获得首届浦发银行国际金融科技创新大赛白金奖，展示了爱数在金融行业的实践经验与前沿探索。大赛旨在加强金融科技领域的深度合作，培育孵化技术先进的科技公司成为具有世界影响力的金融科技公司。
近年来，金融科技正在经历一波快速发展，已经成为影响经济金融高质量发展的关键。2019年8月，中国人民银行印发《金融科技(FinTech)发展规划(2019-2021年)》(以下简称《规划》)，明确提出未来三年金融科技工作的指导思想、基本原则、发展目标、重点任务和保障措施。其中，人工智能、大数据、互联技术、分布式技术和安全技术等底层关键技术在金融领域的应用日益深化。“建立健全企业级大数据平台，进一步提升数据洞察能力和基于场景的数据挖掘能力，充分释放大数据作为基础性战略资源的核心价值。”已成为金融科技发展的关键因素。
//金融科技趋势下，大数据已成为金融行业的关键基础设施
金融科技的高速发展，带动传统金融向互联网金融快速转型。金融大数据平台的角色从过去的对内协助管理变化为现在的对外支持业务决策，从单一传统数仓变化为兼容多类型的大数据平台，从离线数据采集变为实时/准实时采集，数据量从原来的日增GB级到现在的TB级，如今的金融大数据平台已成为金融行业最为重要的数字基础设施。
同时，国家对大数据平台的监管日趋严格，加快金融市场基础设施建设的同时需要稳步推进金融业关键基础设施信息化创新；诸如适时动态监管等现代科技手段和支付结算机制的运用，对大数据平台内数据的保护措施也提出了相应的要求。事实上，目前现有大数据平台的保护手段相对薄弱。其难点在于：
●多样化大数据平台管理难
针对多类型的大数据平台没有统一的保护管理平台，平台自身的保护手段有限且各类大数据平台的保护措施各不相同。
●海量大数据保护和运用难
对每日TB级数据量级来说，传统备份速度过慢，一个大数据业务的备份时间甚至长达几天几夜，会严重影响到平台内海量数据的保护和恢复。此外，亿级日志的合规保存与监管同样面临难题。
●复杂大数据环境运维难
传统的运维方式排查故障和定位问题消耗的时间多，难于满足严苛的法规要求和IT环境建设要求。
//爱数金融大数据基础设施超可用方案，为金融科技大数据基础设施量身打造
爱数认为，需要基于金融客户的深度调研与实践，提供从灾难防范到灾难处理的端到端保障。目前市场上，爱数是全球为数不多可以提供自主研发的端到端超可用解决方案，提供自主研发的灾备云、内容云、日志云、洞察云四大产品能力的厂商。基于15年来在超可用领域的持续研发与创新，爱数利用多产品排列组合的优势，打造融合创新生产力，填补了大数据技术设施超可用领域的业界空白。
爱数超可用方案专为金融科技大数据基础设施而设计，提供全面的数据保护能力、强大的数据服务能力以及智能的监控能力。面向金融科技的超可用方案可广泛兼容各类大数据平台和数据库，提供不同SLA的灾备能力；原生数据格式即时挂载，提供开发/测试、灾备演练、云归档/迁移等数据服务能力，虚拟副本几乎 0 空间占用，节省数据服务的存储空间与成本；提供海量日志数据的实时监控、故障与使用趋势预判以及数据管理和合规性分析。
//超可用核心技术：创新的海量副本数据管理技术
通过分布式超可用架构实现集群内自动负载均衡、自动容错及EB级容量在线扩展，满足海量数据场景。在捕获生产数据时可达到即时捕获更改，确保数据一致性，支持细粒度及增量复制，缩短保护时间。同时支持本地及异地的数据超可用保障，使用挂载技术提供分钟级的数据恢复及多样化的数据服务如数据查询、开发、演练等场景。
//超可用核心技术：基于实体建模与机器学习算法的端到端智能运维
基于实时流处理引擎、实时计算引擎和机器学习算法，确保数据的接入、清洗、价值挖掘，实现对每天TB级别增量日志数据的管理和分析；智能合并压缩海量告警信息，消除无效告警，有效缩短故障发现和修复时间。
//超可用核心技术：基于云原生微服务架构，便捷部署，海量扩容
采用分布式集群和微服务架构，可根据业务情况快速部署和调用，基于K8S的集群编排，实现部署便捷、集群高可用、服务升级无感知、上千节点可在线扩展等能力，可以与金融大数据基础设施架构同步发展。
超可用方案可广泛应用于多种场景，如海量大数据快速恢复、异构大数据平台灾备或者海量大数据告警降噪，在应对金融大数据基础设施的数据保护风险的同时，为金融用户带来了更多可能性。
数十年来，国内IT基础设施建设蓬勃发展，但仍然摆脱不了国产 “缺芯少魂”的困境，芯是指芯片，魂是指基础软件。作为坚持基础软件自主研发的国产厂商，爱数立志成为全球智能数据管理典范企业。金融行业是业界技术水平的制高点，也是爱数长期坚持深耕的行业。目前，爱数的超可用方案已服务于数十家包括大型国有银行、商业银行、国有保险公司在内的金融单位。
（点击查看精彩内容）
关于仿冒我刊收费的声明
我刊自创刊以来，从未向投稿人收取过任何费用。任何以刊发文章为名向投稿人收取费用的行为，均属于对投稿人的欺诈行为。
我刊官网地址为 www.fcmag.com.cn。
我刊投稿邮箱为 fcmag@fcmag.com.cn。
对于仿冒我刊网站、网页的违法行为，我社将追究其侵权责任，以维护我社和投稿人的合法权益。仿冒网站、网页举报电话：010-88232443
《金融电子化》新媒体部：主任 / 邝源 编辑 / 潘婧 傅甜甜