【金猿技术展】指标数据的管理方法及装置——解决相关技术中存在海量数据的指标查询效率低的问题

Kyligence技术

本项目由Kyligence投递并参与“数据猿年度金猿策划活动——2022大数据产业创新服务产品榜单及奖项”评选。

‍数据智能产业创新服务媒体

——聚焦数智 · 改变商业

---

现代商业分析系统注重使用指标(Metric)来做决策分析，而指标的概念以往一般依附于Tableau、PowerBI等BI工具，没有形成独立的应用软件平台，随着指标的重要性与日俱增，独立的指标平台应运而生。

指标平台是基于大数据之上的数据聚合与分析平台，以各项指标的形式来展示数据变化与波动。业界的指标平台多基于Hadoop大数据平台，存在数据加载缓慢、计算资源扩展较差、性能瓶颈等问题。另一方面，指标平台所提供的异动分析能力大多是商业产品的独家能力，并不具备通用性。

针对相关技术中所存在的海量数据的指标查询效率低的问题，此前尚未提出有效的解决方案。本发明提供一种指标数据的管理方法、装置、计算机设备和存储介质，用以解决相关技术中存在海量数据的指标查询效率低的问题。

具体来看，本发明提供的指标数据的管理方法、装置、计算机设备和存储介质，通过提供一个统一接口，以对接外部多种数据源的连接信息；根据所述连接信息获取对应数据源的表格元信息；根据所述连接信息和所述表格元信息加载数据，并利用数据的明细信息构建多维数据集，形成在线分析处理所需的聚合数据，其中聚合数据的数据范围是根据指标数据的类型与区间来确定的；根据指标查询信息，利用聚合索引从所述聚合数据中获取目标数据。

总结来看，本发明能够大幅提高获取聚合数据的速度，在指标查询方面获得极大的效率提升，以解决相关技术中所存在的海量数据的指标查询效率低的问题。

技术说明

1、利用先进的在线分析处理预计算处理技术与开源的数据分析算法库，使得指标平台的整体性能有大幅跃升，并可根据需要调整实现算法，以获得预期的分析结果。

2、引入开源在线分析处理数据库作为预计算引擎，大幅提高获取聚合数据的速度，在指标查询方面获得极大的效率提升。

3、可插拔的异动分析算法使得分析指标数据时可根据实际场景或情况选择合适的算法工具，以获取更好的预测结果。

4、整体方案的普适性较强，即可满足私有数据仓库的数据分析需求，也可置于公用云的基础设施之上，充分利用云服务对象存储的高性能和低成本优势，对外提供服务。

示例：以某SaaS软件为数据源的指标的异动监测为例(主动模式)。

① 以在应用模块已将某SaaS软件初始化其作为数据源为前提条件，应用模块设置了针对某些指标定时更新的任务，会间隔一段时间通知查询引擎模块向该SaaS软件的数据仓库请求加载最新的数据；

② 查询引擎模块根据已知的数据源连接信息与数据目录信息去加载最新数据，并发起Cube的增量构建，最后通知应用模块构建完成；

③ 应用模块接收到通知后，根据更新数据所涉及到的指标去对查询引擎模块发起查询请求，快速获取到最新的结果并交予算法分析模块计算；

④ 算法分析模块将有异动的指标数据返回给应用模块，应用模块此时通过OpenAPI将异常数据通知给对应的接收方。

★专利申请号/公开号：202210544006X

开发团队

·带队负责人姓名：李扬

李扬，Kyligence 联合创始人兼 CTO，Apache Kylin 联合创建者及PMC Member ，专注研究大数据分析、并行计算、数据索引、关系数学、近似算法和压缩算法等前沿技术。在过去多年的工作经历中，直接参与并见证了 OLAP 技术的发展 。

团队其他重要成员姓名：张逸凡、冯礼、李达人、刘一帆。

·隶属机构：上海跬智信息技术有限公司 (Kyligence)

上海跬智信息技术有限公司 (Kyligence) 由 Apache Kylin 创始团队于 2016 年创办，致力于打造下一代企业级智能多维数据库，为企业简化数据湖上的多维数据分析（OLAP）。通过 AI 增强的高性能分析引擎、统一 SQL 服务接口、业务语义层等功能，Kyligence 提供成本最优的多维数据分析能力，支撑企业商务智能（BI）分析、灵活查询和互联网级数据服务等多类应用场景，助力企业构建更可靠的指标体系，释放业务自助分析潜力。

跬智信息 (Kyligence) 已服务中国、美国、欧洲及亚太的多个银行、证券、保险、制造、零售等行业客户，包括建设银行、浦发银行、招商银行、平安银行、宁波银行、太平洋保险、中国银联、上汽、Costa、UBS、MetLife 等全球知名企业，并和微软、亚马逊、华为、Tableau 等技术领导者达成全球合作伙伴关系。目前公司已经在上海、北京、深圳、厦门、武汉及美国的硅谷、纽约、西雅图等开设分公司或办事机构。

相关评价

Kyligence 的引入大大提升了餐厅运营效率，降低了数据开发和分析的周期，节省了人力物力财力，目前从HR 、财务、供应链等部门，到整个市场运营部门，都开始使用 Kyligence 产品，YUMC 的开发部门和 Kyligence 建立了紧密的合作关系，Kyligence产品赋能 YUMC 极具挑战的分析场景和业务需求增长，和 Kyligence 的合作也在同行中产生广大而深远的影响，对 YUMC 和 Kyligence 都起到了极强的行业标杆作用。

——百盛中国

在平安银行潘多拉指标管理和应用平台的建设过程中，基于Kyligence Enterprise指标加工和查询引擎的核心组件，实现全生命周期的指标自动化构建和管理，显著提升了数据开发产能和对数据进行了有效的治理，帮助业务更简单更便捷地进行数据分析和业务洞察，并对行内其他依赖数据的系统提供中台支撑。

——平安银行

提示：了解更多相关内容，点击文末左下角“阅读原文”链接可直达该机构官网。 

联系数据猿