云和恩墨自研的超融合时序数据库 Uqbar 在openGauss Summit 2022上首次公开发布
//
伴随移动通信、人工智能、物联网等技术的飞速发展，可穿戴设备、智能家电、智慧制造、自动驾驶汽车等设备与应用场景愈加丰富，促使数以百亿计的新设备接入网络。从相关研究报告来看，预计到2025年，全球物联网设备基数将达到754亿台，传感器数量和对应数据量的爆发式增长将带来巨大的多模数据管理挑战，运营管理成本也会随之大幅增加。
张程伟首先通过典型物联网平台架构为我们分析了当前物联网场景下数据管理所面临的挑战。每一种设备产生的数据源的格式、类型都可能不同，当前任何一个单一的数据库都不太能满足物联网场景产生的所有数据源的管理需求，那么就需要多种不同的数据库来处理不同的数据，这无疑会大幅增加使用成本和管理成本。因此，云和恩墨开发了一款能够同时支持关系模型和时序模型的超融合时序数据库产品—— Uqbar（音译：乌克巴尔），目标是能够提供物联网场景下的一站式数据处理能力。
接下来，张程伟就 Uqbar 的四方面客户价值做了进一步阐述。
首先是“超融合”。物联网场景下产生的数据主要分为“设备及传感器的元数据”和“设备及传感器的监控数据”两大类。针对这些不同类型的数据源往往需要多种类、多套库进行管理，以满足不同的业务需求。张程伟介绍道：“Uqbar 结合了关系数据库和时序数据库的优点，能够同时支持两种数据模型，一套数据库就能满足多样化数据管理需求，从而避免同时应用多种数据库的情况，降低长期维护成本。”除此之外，Uqbar 还支持跨关系表和时序表的复杂关联查询，可以极大降低上层分析平台的业务复杂度。
第二个价值点是“极致性价比”。Uqbar 在高并发场景下单节点写入性能可达300万点/秒，同时能够满足毫秒级响应海量数据的聚合分析查询请求；支持多维度任意组合查询，能够带来相比于业界同类产品3倍以上的性能提升；通过极致的数据压缩算法，典型场景下能够达成10倍以上的数据压缩率，显著降低存储成本的同时还有助于提升查询效率；能够支持单节点千万级的监控指标管理。“极致的性能和成本的优化无疑让 Uqbar 成为极具性价比的选择。”张程伟对此充满信心。
那么支撑以上能力的关键技术有哪些呢？张程伟对其中4个关键技术点做了解读。首先是智能数据分区，在 Uqbar 中首先会将数据按照时间划分为多个ChunkGroup，内部由多个Chunk组成，按照时间序列的Tagset进行Hash打散，同一个指标的监控数据存储在同一个Chunk里，智能分区能够支持海量时间序列的高性能写入和高效的空间回收；其次是 Uqbar 采用了适用于时序数据的专用压缩算法，即Tag和Filed分离存储，并将不同的数据类型单独存储，分别采用不同的压缩算法，这样能够达成更好的数据压缩效果，并且 Uqbar 还能够同时支持三种压缩级别的设置；第三是 Uqbar 通过构建每个“TagKey=TagValue”到时间序列ID集合的倒排索引技术，能够很好地支持多维任意组合查询；最后是向量化查询引擎，它能大幅减少函数栈调用次数，并利用CPU的SIMD指令集做批量计算，提高大数据量下的查询分析性能。
第三个价值点是“安全可靠”。Uqbar 采用主备高可用架构，支持两地三中心、多机房部署，通过内置集群管理及高可用组件Cluster Manager，能够监控并发现Uqbar Server主备集群的故障，第一时间实现自动倒换，从而满足业务对连续性的高要求；除此之外，张程伟还介绍了 Uqbar 中完善的数据安全防护体系，通过细粒度权限管理、通信加密、操作审计、备份恢复等，可以实现事前、事中、事后的全方位防护。
仅仅在性能和功能方面深耕对于企业未来业务的拓宽发展往往是不够的，所以 Uqbar 的第四个价值点便是“开放易用”。张程伟列举了 Uqbar 支持的多种数据接入方式，一方面能和主流的Kafka做对接，另一方面支持多款不同编程语言的驱动程序，同时对外还提供标准SQL语言以方便第三方工具集成使用。与Grafana无缝集成的数据可视化能力和图形化运维工具都为用户带来更为简单的使用体验。“未来，Uqbar 的研发仍将在不断提升性能的同时，支持更多生态接入，并且还将提供云原生分布式架构，持续打造更为强大、开放、易用的数据库产品。”张程伟在演讲的最后做出了上述表态。
2022年尾声，Uqbar 与大家初相识；2023年伊始，Uqbar 已做好扬帆远航的准备。在新一年的征程中，Uqbar 希望能被越来越多的用户了解、支持与信赖！
关注云和恩墨公众号
回复关键词“Uqbar”
了解更多内容