京东物流面向一线业务的敏捷 BI 实践
导读 随着京东物流一线业务人员取数用数需求的不断增长,传统的线下Excel 为主导的数据分析共享模式在不断扩张的物流数据需求面前捉襟见肘。由此,京东搭建了以自助分析为核心的敏捷 BI 平台,提供面向异构数据源的一致性、数据分析水平参差、高并发查询时效性的完整解决方案。
今天的介绍会围绕下面三点展开:1. 京东物流一线业务数据应用现状
2. UData:以自助分析为核心的敏捷 BI 解决方案
3. 应用场景及案例
分享嘉宾|刘凤 京东物流 高级产品经理
编辑整理|苏屿
内容校对|李瑶
出品社区|DataFun
治理难度大:需要从数据源、数据指标体系两方面入手,且业务多层级联动拉齐数据认知; 研发资源消耗大:面向分析场景需求个性化程度高,研发侧排期资源有限; 大数据技术挑战大:大数据量、实时在线交互分析、系统执行复杂度不确定、响应时间和用户体验难以保证。
2. 建设平台工具解决实际业务问题
3. 新老流程对比
UData:以自助分析为核心的敏捷 BI 解决方案
1. UData 自助式敏捷 BI——产品架构
数据接入:平台支持各类异构数据源的接入,包括但不限于 Hive、MySQL、Oracle 等。 联邦查询:业务人员在平台内可实现跨数据源的查询,解决数据来源多样性所带来的应用难题。 数据管理:提供对表、指标、标签、字典、维度、数据源等的统一管理。 数据地图:提供业务视角的数据查询、血缘分析能力。 权限管理:包括用户权限、用户组权限、行级权限、看板权限等。 数据分析:面向业务人员的低代码可视化自助查询分析、在线高效协同。 数据服务:面向技术人员提供低代码接口开发和平台监控,实现效率提升。
2. UData 自助式敏捷 BI——产品特性
低门槛:无论是点选式的数据集配置方式,还是在线 Excel 的编辑风格,都为一线业务人员即使没有代码能力也能上手平台提供了支持。
轻量级:平台可以直接在浏览器中操作,无需安装任何软件,随开随用。
快集成:可以与工作台、邮箱、办公系统等进行深度、快速地集成共享。
数据集成:支持多元异构的不同类型数据资源的统一接入。
数据模型配置:业务人员直接选择数据,并通过部署、过滤、合并等操作即可快速完成数据模型的建设。
数据加速:查询引擎升级,支持联邦查询的提速,从而使性能得到了大幅提升。
3. UData 自助式敏捷 BI——遇到问题
首先,对于中国特色的复杂报表处理,查询性能的提升成为一大难题。 其次,为满足用户在线编辑与分享的需求,我们必须解决数据展示不一致及系统异常等问题,同时确保系统运行的稳定性。 最后,平台设计若缺乏合理性,将导致用户学习成本增加,进而影响用户体验。因此,如何优化平台性能、提升用户体验,并降低用户的学习成本,是我们在持续创新与发展过程中必须解决的课题。
性能诊断:在数据接入、数据集配置以及数据报表看板配置等不同阶段,平台都提供了性能诊断功能。如果发现数据在接入时不符合性能需求,可以设定相应规则,仅允许符合性能标准的数据进入系统使用。在数据集和数据看板的配置过程中,我们也提供了性能诊断功能,为用户提供合理的配置建议并限制其分享范围,以优化数据集和数据看板的查询使用性能。 物化数据:通过分析用户查询数据的频率和用户数量等因素,针对热门数据源,执行物化操作,并对历史开发中存在的不合理数据表进行相应的数据治理,例如拆分大表等以确保数据资产的质量及用户使用体验。 缓存策略:采取主动与被动缓存结合的方法。对于低频更新的离线指标看板,我们采用主动缓存,确保数据在用户首次查看时被缓存。其他用户访问时,我们从缓存中读取,保障性能。此外,提供个性化配置策略,允许业务人员根据数据输出时间进行配置,包括缓存时间和时效。这有助于减少性能资源损耗。
首先,对于数据问题,我们通过自动化数据接入和数据同步更新,提高数据获取速度和准确性; 其次,解决前后端不一致问题,成立专项小组并优化共享方式,如邮件、看板分享等,并与办公协同软件打通; 最后,通过产品对接和设计,提升应用性。同时采取措施降低故障率并完善监控。
首先,在整体框架方面,旧版采用功能型设计,导致用户难以明确需求。新版则根据用户习惯和流程重新编排菜单,减少对用户的干扰; 其次,在数据准备模块流程方面,将配置步骤从 11 步简化为 6 步,大幅提高用户效率; 此外,在配置页面方面,采用开发算法降低系统复杂度,放大常用操作区域,提升操作流畅度; 最后,在数据准备和数据分析模块中,增加列表管理功能,提升系统和谐度,更符合用户习惯。
应用场景及案例
1. 业务报表线上化、数据更新自动化
在 618 大促等重要节点,需要整点播报数据,而在旧的工作流程中,这一天可能需要刷新和制作数据十几次,每次刷新耗时半小时。UData 平台报表效率提升 80%; 在各省区日常运营监控场景下,其提效比例高达 96%。
2. 独立报表提升查询分析效率
3. 数据服务场景
4. 人人都是数据分析师
5. BI 到 AI 能力进阶
用户可通过小助手机器人问答式交互方式获取数据。 系统可根据个性化配置进行预警推送,主动推送数据至用户,使用户可以随时关注业务数据正常或异常情况。从而实现数据资产的变现,提升业务效率。
分享嘉宾
INTRODUCTION
刘凤
京东物流
高级产品经理
京东物流产品专家,有 10 年 B 端产品经理经验,一直深耕物流行业,从传统物流、电商物流、众包物流到物流最后一公里,曾负责多个从 0 到 1 的系统产品设计,有着丰富的物流行业工作经验。现在是 UData 的产品经理,该平台是一个面向业务部门使用的一站式自助式灵活数据分析平台,解决业务部门找数难、做数难、用数难的问题。
往期推荐
当大模型遇见因果推断!
大模型时代下,基于湖仓一体的数据智能新范式
数字经济时代,元数据驱动的数据治理还重要吗?
微信全局因果作用估计实践
基于因果的机器学习及银行业应用
20 分钟带你搞懂 LLMOps !!
一文带你掌握AB实验最佳流程 ! ! !
免费下载:《数据湖应用架构与MySQL数据库电子书领取》
洞察海外 AB 实验的地区差异效果
点个在看你最好看
SPRING HAS ARRIVED