“方正智+数据&AI双中台”助力打造智能区域数据中心“新基建”
前言
在刚刚落幕的第二届中国广电媒体融合发展大会上,北京北大方正电子有限公司(以下简称“方正电子”)的“基于方正数据&AI双中台体系支撑的智能区域数据中心建设”项目成为“2021年度媒体融合创新技术与服务应用新入库项目”,并在安徽等地落地应用。
如今,5G应用与新媒体技术已经渗透到各行各业,数据量呈爆发式增长。由于数据标准不统一、历史建设架构制约等因素,数据资源大多为所属单位内部“烟囱式”使用,成为一座座数据孤岛、互联互通不足,尚未形成产业层面的生产力。
在5G时代到来及媒体深度融合发展的趋势下,创新思路、高效完成资源整合成为媒体数字化转型的核心,媒体融合下半场的重心则体现在产业层面的合作——推动新闻数据资源互联互通共享,制定数据标准规范,加快区域数据资源整合;加强公共数据开放共享及服务平台的可用性和易用性;以海量、优质的数据资源供应,促进优质数据应用和产业化运营。
面对机遇与挑战,方正电子推出“方正智+数据&AI双中台”,为媒体提供强大的数据和智能“地基”保障,打造区域数据资源建设“新基建”:
▼积极参与地方区域数据中心及专项库的规划和建设,着力构建一个先进的、可弹性扩展数据管理架构 ;
▼面向省直、地市、区县单位及垂直机构的下属单位,提供开放的数据接入、数据分析组织存储、数据质量标准管理、数据服务输出、数据安全监控的开放的数据管理平台。
基于双中台的区域数据中心成果展示
No.1
针对省域数据中心建立数据标准和管理体系
数据的质量管理是数据建设的核心要求,在区域数据中心建设之初的数据规划层面就须确定。
首先,方正电子与建设单位一起梳理和确认“数据中台”数据标准,实现多源数据接入和多维输出的基础。数据标准包括业务术语标准、数据项标准、属性数据标准;同时,针对数据质量评估也制定标准规范,包括数据的精确性、唯一性、完整性、一致性、关联性、及时性。
在具体建设实施中,依据管理数据对应已明确的应用,针对媒体主要的数据组织和应用场景,“数据中台”已植入新闻领域相关的数据标准和规范,便于数据的调用、共享和流通,并为区域数据生态持续建设提供扩展性支撑。
基于数据中台的省域数据中心建设
依托“数据中台”,依据建设单位数据建设的规划要求、业务库/专项库的建设规范,完成了数据质量标准和规范的制定,包括数据的接入和输出标准。同时,在数据质量管理方面提供开放域、智能、业务三类标签体系管理,涵盖:31个省市自治区标准地域信息标签体系,14大类行业领域信息标签体系,针对文本、图片、音视频的智能标签体系,包含属地党政领导干部的人物属性标签体系。此外,通过海量数据训练,能够实现智能自动标引。
数据中台数据标准体系建设
No.2
提供全省/区多源异构数据的管理和审核
在数据接入层面,“数据中台”能够面向省直、地市、区县单位及垂直子机构提供开放的多源异构专项数据,包括文本、图片、音频、视频、书籍文件、影视作品等单条、批量数据的接入、清洗并按数据标准转化。
数据中台数据批量接入
考虑到数据入库的安全性,针对全省各个地市、区县单位提供数据接入的智能审核和风控,并提供县-市-省分级审核。
通过高效的多模态计算引擎,结合“AI中台”智能能力实现文本、图片、音频、视频、书籍文件单条和批量的智能分析处理、智能标引和智能审核——针对省域历史专项数据中潜在隐藏的属地敏感人物的检查,方正电子在平台设计中,借助方正电子属地人物库产品来实现关注人物信息知识化管理和智能化输出,辅助提升平台数据接入环节的风控能力,帮助用户自动发现和识别接入的文本或图像数据中的重点关注人物,从而实现人物专辑信息的查询浏览和敏感人物的自动标识、识别和自动预警等。
图像智能审核
在数据分析和存储中,对入库数据进行智能分析,包括地域、领域、情感、实体、自动摘要等,并实现智能打标。通过分步式的数据存储系统实现结构化、半结构化、非结构化等多源异构数据的存储管理,在此基础上构建业务数据库或专项数据库。在数据管理方面,对入库的数据量、各业务数据标签、数据的数据规模、数据内容进行维护管理,并且能支持业务应用的数据查询浏览与有效利用。
视频智能分析和标签
基于“数据中台”的省域数据中心核心目标是为各地市、区县,各类应用提供统一、开放的数据输出和服务——针对平台数据提供跨模态检索服务,可以方便的查询数据相关信息;实现对外的数据推送,数据展示和应用的多样性,数据中台提供开放的数据API,供三方机构二次开发和应用;针对数据的未来应用,在统一框架内以微服务方式来实现省域其他业务应用的联动,例如数据供全省市、区县媒体生产使用,实现在生产编辑器对省域专项数据的调用,推荐、检索查询;专项数据自动摘要、实体识别、背景延展、情感分析等自动化分析以及智能能力的输出,支撑二次开发应用。
省域数据中心数据推送
No.3
支持省域多级数据安全体系
除了必须的系统及数据安全管理外,系统支持多级机构:可按省、市、县多级创建机构。各机构数据隔离,可对数据上传、审核、查看等分级授权,如,区县可查看和使用本区县以及被授权的数据资源。
对数据的接入、处理、输出进行全流程监控。对数据的整体情况、分类状况、流动状况、应用状况提供数据资源统计分析。
面向省-市-区县多机构省域数据开放平台
No.4
弹性可扩展架构
支持数据生态的持续建设
由于历史原因,不少数据也在各业务系统中,没有做数据归档和备份管理,长期下来对业务系统存在风险和压力。多个业务系统如烟囱般,无法实现数据的共享和数据服务的快速应用。
伴随着业务发展,新增数据和应用成为常态,传统数据管理无法加入、灵活性差。“数据中台”是跨域的,能够将不同组织、不同类型的数据加以整合,并提供开放的数据平台,将数据与业务前后端分离、打通数据带脉,实现数据统一集中管理。
在数据应用层面,针对不同业务场景和应用提供微服务形式数据输出,建设和孵化多种数据服务产品和数据应用。数据与业务松耦合,不仅保障数据管理的统一,又保障业务应用的灵活性。
在“方正智+数据&AI双中台‘新基建’”支撑下,建设单位可以持续建设单位内部资源的管理以及面向全省的其他专项数据服务。“方正智+数据&AI双中台”针对媒体行业开发及媒体的业务系统、高频的数据服务更有特色,可以一键实现业务数据接入和输出联动。
为满足数据应用不断发展和变化需要,区域数据中心采用组件化、微服务、弹性可扩展的数据产品架构和先进的数据管理基础以满足未来数据发展需要、应对数据结构复杂和变化频繁等问题;根据服务需求选择资源的弹性扩展,更简单的管理和维护,以满足各领域数据服务和智能化能力的扩展,打造全省融媒体枢纽级信息集散平台,持续构建数据服务生态。
基于双中台省域数据中心弹性架构和可扩展的数据建设
瞄准新基建带来的红利,享受大数据与人工智能的服务,是新时代智慧媒体建设的最优路径。目前,方正电子推出的智+数据&AI双中台,以及基于双中台的方正智新媒体大数据平台、方正智思舆情监测平台、方正智甄版权管理系统、方正智能风控新闻出版物监管平台、方正畅营运营管理系统、方正智能数据中心等大数据应用产品,为媒体用户提供全流程场景化的智能服务和数据服务,现已服务超过400家媒体、企业、院校,为媒体用户享受新基建红利提供技术支持与保障。
《智能风控监管平台助力媒体内容生态良性发展》下周上线,敬请关注