其他
数据分析是挖掘数据价值、支撑经营决策的关键步骤。在企业对数据分析工具高效、易用的追求下,数据分析技术持续迭代,前后历经固定报表、自助式分析、对话式分析三个发展阶段。数据分析技术的迭代的核心逻辑是对业务部门的数据应用赋能,体现在门槛的降低、灵活性的提升和分析能力的拓展。对话式分析是继传统BI、自助式分析之后的技术创新,代表着企业数据分析技术的新趋势。对话式数据分析能在意图理解准确、取数灵活、洞察深入三方面满足企业广泛的数据分析需求,充分挖掘企业数据价值、赋能经营决策。7月22日,爱分析正式发布《2024爱分析·对话式数据分析厂商全景报告》,通过对市场的需求分析和代表厂商的能力解读,为企业厂商选型提供参考。覆盖市场:对话式数据分析注:扫描下图二维码或点击文末左下角“阅读原文”,可下载完整版《2024爱分析·对话式数据分析厂商全景报告》。01研究范围定义研究范围定义1)对话式分析代表企业数据分析技术新趋势数据分析是挖掘数据价值、支撑经营决策的关键步骤。在企业对数据分析工具高效、易用的追求下,数据分析技术持续迭代,前后历经三个发展阶段。图1:企业数据分析技术迭代三阶段第一阶段,企业数据分析以静态报表为主,传统BI和静态报表基本上都是面向IT部门的,业务部门提出需求之后,由IT根据报表工具开发出固定的报表,然后业务部门查看报表结果。此阶段中,传统BI的使用对象仅面向管理层。企业数据爆发式增长驱动业务部门用数需求快速增加,IT开发固定报表的方式灵活性低、周期长,难以满足业务广泛的数据需求,推动数据分析进入自助式分析阶段。第二阶段,金融业率先使用自助式分析。业务部门提出需求之后,数据分析师可以基于敏捷BI的工具帮助业务部门快速获取所需的数据,业务部门的灵活性和自主性大幅增加。自助式分析工具的使用对象由管理层变为数据分析师,企业数据应用的渗透率也得到快速提升。但在此阶段中,企业有限的数据分析资源成为业务部门广泛开展数据分析的瓶颈,业务部门的个性化、深度的数据分析常常难以满足。随着大模型技术的日渐成熟,大模型解决方案落地推动企业数据分析进入第三阶段,即对话式数据分析阶段。对话式数据分析能直接面向业务部门,无需依赖开发人员或数据分析师,面向业务人员,实现完全的自主的数据分析,推动数据应用在企业全面渗透。对话式分析继传统BI、自助式分析之后的技术创新,代表着企业数据分析技术的新趋势。2)对话式数据分析能充分挖掘企业数据价值、赋能经营决策对话式数据分析能在意图理解准确、取数灵活、洞察深入三方面满足企业广泛的数据分析需求。对于用户意图的理解,企业在落地对话式数据分析时,大模型具备基于上下文语境准确理解用户意图,或是准确理解用户专业术语的能力。对话式分析能实现灵活地取数。在对用户意图进行理解后,对话式分析中的智能体和代码生成能力,对取数任务或是指标进行自动拆解,并自动生成SQL语句调用宽表中数据,直接反馈数据结果,能即时满足业务部门通用的或是个性化的取数需求。对话式分析能实现业务的深入洞察。对话式分析能协助业务人员对结果背后的原因进行归因或是下钻分析,找出深度影响因子,优化经营策略。从当前实际落地进展来看,用户意图理解的准确性已经在实际落地过程中得以验证;灵活生成SQL语句取数以及归因分析的准确性还有待技术继续突破。基于以上背景,本报告面向企业管理层和业务部门,通过对对话式数据分析的需求定义和代表厂商的能力评估,为企业落地对话式数据分析解决方案、厂商选型提供参考。厂商入选标准:厂商入选标准本次入选报告的厂商需同时符合以下条件:1、厂商的产品服务满足各市场定义的厂商能力要求;2、2023年厂商具备一定数量以上的付费客户(参考第3章各市场定义部分);3、2023年厂商在特定市场的营业收入达到指标要求(参考第3章各市场定义部分)。02厂商全景地图03市场分析与厂商评估3.1对话式数据分析市场定义:对话式数据分析是指融合大模型的数据分析技术,能有效满足管理层和业务部门的数据分析需求,提升IT部门数据开发效率。甲方终端用户:企业管理层、业务部门甲方核心需求:对话式分析是企业优先落地大模型的场景之一。对话式分析能解有效决传统数据分析中,企业数据分析资源有限、门槛高的痛点,提高业务部门自主性,促进企业数据价值释放。企业对话式数据分析的的核心需求体现在:对话式分析能实现准确的意图理解。传统的取数过程中,用户需要明确掌握SQL语言和相应的数据库结构来提取所需信息。随着NL2SQL技术兴起,用户只需使用自然语言描述需求,由后端系统将其转换为适当的SQL语句,简化了查询过程。但NL2SQL技术仍有缺陷,传统的NLP技术使用分词+知识图谱技术落地,依赖于大量人工标注和规则设定,实施成本高,且其自然语言处理能力较弱,在处理模糊查询和复杂意图查询方面存在挑战。如在处理模糊查询的过程中,自然语言的语法结构复杂多变,传统NL2SQL系统在解析嵌套查询和多表关联查询等复杂句子结构时,容易生成错误的SQL语句。支持业务人员开展深度分析、实现业务洞察。随着企业数据的积累,企业用数场景也快速增加,但企业既有的数据能力难以支撑深入的用数需求。业务的取数需要数据开发人员支持,深入的数据洞察又严重依赖专业的分析师,在企业资源有限的情形下,通用的、复用率高的数据分析任务将作为最高优先级,而业务更偏个性化、复杂化的长尾数据分析需求难以得到响应和满足,造成企业“有数难用”的现状。保障数据安全。对话式分析为企业带来新的数据安全挑战,如大模型的部署环境安全、数据传输安全,以及员工在与大模型互动过程中避免敏感数据泄露,以及满足行业合规要求。厂商能力要求:针对以上需求,厂商应兼具限定查询边界和人工介入的能力,来规避大模型幻觉问题。并且厂商应支持企业进行深度数据分析,支持业务开展洞察,并保障用户使用大模型过程中的数据安全。具备限定查询边界的能力。为保证取数准确性,目前主要采用限定查询边界的解决思路。具体而言,是将大模型与宽表或语义层相结合,运用宽表和数据源来构建语义层,继而在该语义层上进行相应的匹配和查询。这类模式的具体操作方式是基于指标平台,把常见的指标先基于宽表进行计算,再运用自然语言查询指标,其精确度会相对较高且基本上具备可控性。支持数据查询过程人工可干预,以及对查询结果可纠错。除限定查询边界外,人工介入也是实现对话式分析的重要方式。如在查询过程中,厂商可支持将复杂的SQL转化成自然语言的查询解释,帮助用户理解查询逻辑;针对查询结果输出后的场景,支持用户手动调整查询条件,如语义澄清、界定查询范围等,对大模型输出的错误结果进行纠偏,并支持快速输出正确结果。支持企业进行深度数据分析,实现业务洞察。除基础的取数以及图形化展示外,厂商更应具备深度数据分析的能力,如多轮对话、上下文理解能力,能理解用户语境,帮助用户深入剖析问题原因;如AI