京东物流一站式敏捷BI平台建设方法论
导读 在数字化转型的今天,京东物流业务呈现出复杂多变的特性,涉及众多场景、多元化渠道与日益增长的数据量。针对市场对于数据即时性和灵活性的迫切需求,京东物流推出了一站式敏捷 BI 解决方案,以应对分散且高并发的数据处理挑战。本次分享的是京东物流如何通过其一站式敏捷 BI 产品,实现数据的快速集成、即时分析及自服务报告,从而在激烈的市场竞争中赢得优势,进一步提升业务效率和决策质量。通过这些实践,我们将见证数据驱动的力量如何在京东物流的业务流程中展现,以及如何帮助企业在数字化的道路上更快前进。
下面的介绍分为四个部分:1. 业务背景
2. 解决方案
3. 应用案例
4. Q&A
分享嘉宾|焦文健 京东 前京东物流产品总监
编辑整理|胡回
内容校对|李瑶
出品社区|DataFun
1. 业务背景
数据来源多
需求变化快
由于京东物流的业务覆盖范围广,员工众多,从总部到各个地区层级,每一个层级都可能产生独特的数据需求。这些需求经常变化,且每个层级都可能定义自己的数据指标或分析某些特定的数据细节。这种快速变化的需求环境要求数据系统必须具备高度的灵活性和快速响应能力。
做数耗时长
传统的数据处理方式,如员工手工在 Excel 中处理数据,导致数据处理时间长,效率低下。此外,数据处理的成本高,数据口径不一致等问题也随之产生。
2. 复杂的“中国式报表”
受众多样性
数据计算复杂
报表样式复杂
多数据源
数据源分散,数据信息来自不同的业务系统,技术路线和数据结构都有很大差异。
治理难度大
需要从数据源、数据指标体系两方面入手,且业务多层级联动共同拉齐数据认知,为治理带来很大困难。
研发资源消耗大
面向分析场景需求个性化程度高、不固化、不明确,研发侧支持有资源瓶颈。
大数据技术挑战大
大数据量、实时在线交互分析、系统执行复杂度不确定、响应时间和用户体验很难预判保证。
3. 建设平台工具以解决实际业务问题
监控与预警的需求:质量改善、工单处理、异常处理岗位对 KPI 达成与工单量变化的敏感度。 数据时效性:在考核、复盘、经营运营及责任追究等方面的高标准要求。 人力资源局限:现有支持体系难以满足众多一线员工的复杂需求。
繁琐的数据获取与处理:员工需从各自业务系统下载并处理数据,效率低下。 报表的生成与分享:数据分析后需制作报表,进而进行分享与下达,流程繁杂。
敏捷 BI 的引入:一个自助式、集成式的敏捷商业智能(BI)解决方案。 数据集成:集成各类指标与模型至数据地图,简化标准化数据源的获取。 自助式内容分析:为非专业人士提供易于操作的数据分析工具,减少对技术的依赖。 数据准备:简化数据之间的关联、筛选与聚合操作,提高工作效率。 中国式报表与在线 Excel 插件 A. 数据与报表的融合:通过插件将数据语言与在线 Excel 结合,顺应用户线下习惯。 办公协同系统的整合:报表生成后,通过推送、邮件、订阅等方式实现办公自动化,确保信息流畅传递。
产品方法论与解决方案
价值发现:识别目标用户群体,明确产品解决的具体场景及需求,并构建核心竞争力。 价值共创:探讨如何与合作伙伴共同创造价值,包括共创方案和流程机制的构建。 价值获取:确定价值落地的模式,包括衡量标准和方法。
用户需求的深入分析:通过监控3万多数据业务人员的日常行为,揭示其重复性使用 Excel 等工具的频繁性和模式。 系统化建设的不足:指出目前数据体系化建设的不足,以及数据标准化沉淀的限制。
建立多元异构查询支持:强调需要支持多样化的数据查询和交互式数据获取。 降低技术门槛:目标是打造一个低门槛、自助式、交互式的工具,特别强调点选式的操作和在线化的 Excel 功能。 业务层共建:与业务部门共建数据集,提高数据标准化程度,并通过重点项目共建和数据分析师培养专项计划提升整体数据理解和应用能力。
衡量指标的设定:通过覆盖度、渗透率和工作时长节省等指标衡量产品上线后的效果。 实验观测:运用 AB 实验等方法观测业务数据分析的效率和效果。
线上数据选择与创建:用户可以在线选择并创建自己的数据集,简化了数据处理步骤。 配置在线复杂报表:在数据集基础上,用户能够配置类似于中国式的复杂报表,这些报表既轻量级又易于操作,适应了用户对灵活性和复杂性的双重需求。
系统稳定性问题
随着 1.0 版本在更广泛领域的应用,系统稳定性成为一个显著的问题,影响了用户体验和操作的连贯性。
性能问题
数据处理的效率和速度是评估系统性能的关键指标,性能瓶颈会导致做数耗时长,进而影响决策速度和业务流程。
应用性问题
随着需求的快速变化和数据来源的多样化,系统需要灵活适应不断变化的环境和需求,应用性的不足可能会限制系统的广泛应用和扩展 Spark 完成历史数据的回补。
系统稳定性:在广泛应用过程中,系统稳定性常常受到挑战,影响了用户的连续使用体验。 系统性能:频繁出现的性能问题减缓了数据处理速度,影响了整体效率。 易用性问题:随着用户规模的提升,用户需求多种多样,系统的易用性和产品体验暴露出一些问题,影响了其广泛应用的可能性。
用户价值公式:提出了一种评估产品价值的公式,即新体验减去旧体验和迁移成本后的剩余价值,以此作为优化的基础。 旧体验与新体验的对比:分析用户的旧体验,如手工操作 Excel 的熟悉性与稳定性,以及新体验所带来的自助式分析和自动化更新的便利性。 新体验中的挑战:识别新体验中存在的问题,如数据稳定性和同步的及时性问题,以及用户面临的迁移成本。
改善数据稳定性:采取措施解决数据丢失和同步问题,提高数据稳定性。 降低迁移成本:通过简化操作和提供培训,降低用户的学习成本,使迁移过程更加平滑。 增强系统性能和应用性:优化系统架构,提高性能,扩展应用范围以适应不断变化的用户需求。
6. 产品逻辑梳理
数据源的多样性:强调了数据源包含实时与离线数据,以及明细层与汇总层数据,其中明细层数据量庞大,而汇总层数据经过聚合后较小。 数据集与数据源的区分:讨论了数据集作为数据处理和管理的结果,它代表了加工处理后的数据结果集,这有助于提高可视化的效率。
构建数据集的多样方式:包括点选式操作生成 SQL,直接编写 SQL,以及问答式的自然语言处理技术。 数据分析能力:探讨了提供的分析能力,包括不同类型的数据报告和报告来源,以及系统易用性的考量。
产品和系统逻辑接入的标准:讨论了优化新版本系统时考虑的产品与系统逻辑接入的标准和方式。 数据准备与校验:强调了数据准备过程中的校验工作的重要性。 架构梳理与模块界定:强调了对系统架构、模块边界以及前后台关系的重新梳理和界定,以确保 BI 产品的稳定性和高效性。
7. Udata 产品升级
问题收集与记录:系统地记录和识别用户报告的 bug 和问题,如系统打不开或数据不一致等,以便于后续分析。 高频问题识别:通过持续记录,识别频繁出现的问题,然后进行分类,以了解哪些类型的问题是经常发生的及其影响范围。
问题分类:将识别的问题进行分类,为进一步的分析和解决提供清晰的方向。 定期复盘:定期回顾问题,深入挖掘根本原因,并基于这些原因制定解决策略。
监测指标定义:定义关键的监测指标,如故障率和可用性,包括数据问题、共享问题和操作问题等,这有助于更准确地监控和评估系统稳定性。 性能优化:识别和解决导致查询失败的底层引擎问题,以及相关的性能问题,确保系统的稳定运行。
性能问题的表现:用户在尝试打开报表时经常遭遇长时间的加载延迟,有时甚至无法加载完成,这种延时和不确定性严重影响了用户的体验。 问题的重要性:强调性能问题不仅是一个技术问题,而且对用户体验有显著影响,需要被优先解决。
性能诊断:通过性能诊断,识别导致报表加载缓慢的原因,可能是数据接入问题、复杂的 SQL 查询,或不必要的数据引入等。 数据物化策略:实施数据物化,将大表拆分为小表,减小查询的数据量级,从而提高查询效率。 缓存策略:引入主动和被动缓存,基于历史访问行为优化缓存命中率,进一步提升查询效率。
分级和分类:对数据报表进行分类和分级,明确每个报表的服务场景和性能要求,实现精细化管理。 发布时的约束:在数据报表发布时增加边界约束,确保每个报表在发布前都能满足既定的性能标准。
技术与运营结合:强调性能优化不仅涉及技术问题,也包括产品运营的思路及用户的引导和约束。 用户教育:提倡对用户进行教育,使其更加理解如何有效地利用系统,编写高效的 SQL,减轻系统负担。
评分机制:在数据集创建完成后,系统将基于性能和效率等关键指标对其进行评分,以确保每个数据集都符合既定的标准。 优化建议提供:对于评分不高或有改进空间的数据集,系统会提出具体的优化建议,指导用户如何改进数据集的性能和效率。
核心引擎选择:采用基于 StarRocks 的核心引擎进行性能优化,并与社区进行战略合作,为优化提供技术支持。 StarRocks 的优化特性:介绍 StarRocks 支持的向量化执行,物化视图加速查询和 CBO 优化等特性,以及通过这些特性实现的性能提升。
数据处理链路:描述数据从消息队列到不同数据库和引擎的处理链路,以及在StarRocks查询时面临的挑战。 下推优化策略:实施算子聚合下推,将聚合和排序等操作下推到底层数据引擎(如CK、 MySQL)执行,减少 StarRocks 引擎的压力和网络带宽消耗。
查询效率提升:通过优化,六张表的聚合关联查询时间从 30 秒降至 6 秒,显著提升了查询效率。 网络带宽优化:减少了数据在网络上的传输量,从而降低了网络带宽消耗。
1.0 版本的问题:指出前一版本因快速迭代而存在的问题,如系统高耦合、操作链路不清晰、设计复杂,以及展示形式单一。 2.0 版本的目标:明确了新版本的目标是提升易用性,降低用户的理解和操作门槛,让数据分析任务像协同办公文档一样简单。
移除(E):识别并移除多余的无效概念和步骤,以减少用户学习成本和操作复杂性。 减少(R):简化页面信息和操作步骤,去除冗余操作,使用户的操作更加直观和高效。 增加(R):增强系统的性能诊断和校验,建立清晰的系统边界,提供驾驶舱功能等,以满足不同用户的场景需求。 创造(C):创新数据探索能力,如引入问答式 DataGPT,以提供更高级的用户体验和分析能力。
低门槛目标:降低用户的理解和操作门槛,清晰可理解的系统概念,简洁的操作链路。 性能校验与诊断:在系统中增加性能的校验和诊断,确保系统稳定可靠。 场景区隔与功能增强:根据不同用户的使用场景提供区隔化的服务,同时增加驾驶舱等功能以提升系统的实用性和灵活性。 创新性能力:通过创新问答式数据探索能力,提高数据分析的效率和准确性。
繁杂性:描述旧版菜单内容繁杂,各种功能杂陈在一起,导致用户难以快速找到所需功能。 用户体验:由于菜单的复杂性,用户在系统中的导航和任务完成过程变得不直观,影响了用户体验。
二级导航引入:提出在新版本中引入二级导航的方式,使结构更为清晰和直观。 内容合并与精简:对导航内容进行合并和精简,清楚地定义每部分的功能和定位,以便用户更容易理解和使用。 信息架构清晰:通过优化信息架构,确保用户在进入系统后能迅速、清晰地了解如何完成任务。
席克定律(Hick's Law):引入席克定律,说明面对过多选择时,用户做出决策的时间增长。 菜单优化:根据用户的使用习惯和流程对菜单进行重新排列,减少或隐藏非常用功能,以减少用户的选择负担和干扰,加快反应时间。
旧版本的操作复杂性:指出旧版本在数据准备环节存在许多步骤和冗余概念,导致用户理解和操作门槛高。 新版本的简化流程:新版本将数据准备的操作从 11 步精简至 6 步,大幅提升了用户理解和处理数据的效率。
菲茨定律概念:引入菲茨定律,解释目标越大且越近,用户到达的速度越快,出错几率越低。 改造点:基于菲茨定律,缩短用户到达路径,提供更合理的引导流程,减少用户的操作步骤,提高用户转化和操作效率。
精简操作步骤:通过减少操作步骤和去除冗余概念,简化用户的操作流程,降低理解门槛。 优化引导流程:改进用户的引导流程,确保用户可以更直观、更快速地完成任务,提升整体用户体验。
集成度过高:指出旧版本的数据准备页面集成了选择数据集、管理和创建操作,导致页面复杂且难以理解。 缺乏用户引导:操作过程中缺少必要的引导,使用户在完成任务时感到困惑和不便。
操作与反馈分离:新版本中,数据集的操作与结果反馈被清晰地分离,确保用户可以立即得到操作反馈。 明确的操作指示:在界面上清楚地列出可进行的操作,增加用户在操作过程中的清晰度和方向性。
复杂度守恒概念:引入泰斯勒定律,解释系统中固有复杂性的存在,并强调其无法被完全消除,只能通过设计进行转移和平衡。 复杂度转移改造:为了提升用户体验,将系统的固有复杂度从用户侧转移到研发侧,通过后端复杂的处理来为前端用户提供简洁明了的操作体验。
应用实践案例
1. 实现业务报表的线上化、数据更新自动化
系统线上化:介绍了通过 UData 系统实现报表线上化,替代了以前频繁且耗时的手工制作过程。 实时更新:强调了一次性设置后的长期效益,报表可以实时更新,显著提升数据处理效率。
优化前状况:每天手工制作报表 10 次,每次需耗时 30 分钟,仅能提供整点数据。 优化后成果:通过 UData 线上制作一次,耗时 1 小时,报表永久有效且实时更新。 效率对比:通过线上化和自动化处理,实现了 80% 的工作效率提升。
优化前状况:每天手工制作报表 1 次,每次需耗时 2 小时。 优化后成果:通过 UData 线上制作一次,耗时 2 小时,但报表永久有效,无需重复制作。 效率对比:通过自动化和长期有效性,实现了 96% 的工作效率提升。
2. 典型案例
项目持续期:介绍了项目实施了半年多时间,目标是通过数据处理优化分拣员的工作效率。 优化目标:明确项目旨在降低分拣员在数据处理上的时长,并提升其有效工作时间。
数据处理时长的降低:报告在半年的时间里,分拣员在数据处理上的时长下降了 37%,显示出数据产品优化的显著效果。 有效工作时长的提升:同时,分拣员的有效工作时间实现了持续上升,其中在半年期间有效工作时长上升了 10%,反映出工作效率的整体提升。
效率提升分析:分析发现数据产品优化导致分拣员数据处理时间减少,使他们能够更多地投入到实际工作中,从而提升了整体工作效率。 综合效益:强调了通过精细化的数据管理和流程优化,项目不仅提升了个体工作效率,也为整体操作流程带来了效率提升。
3. 升级规划:ABI 能力进阶
问答式报表能力:介绍了未来 ABI(问答式商业智能)能力的进阶,即通过问答式交互返回报表和数据趋势,简化数据获取过程。 移动端应用:强调了在数据资产平台上结合 DataGPT 和 AIGC 技术,使用户能够在移动端轻松获取所需数据。
管理组成:描述数据资产集约管理包含知识库、标准指标体系和实时数仓模型,形成一个全面的数据管理体系。 DataGPT 作为释放窗口:将 DataGPT 作为数据资产价值释放的轻量化窗口,使用自然语言作为查询门槛,使所有员工都能轻松进行数据查询。
业务与技术语言转化:大模型 AIGC 为业务语言和技术语言的相互转化提供能力支持,使非技术人员也能通过自然语言获取复杂数。 助力数据普惠化:通过这种能力加持,推进数据的普惠化,使数据查询和分析不再局限于数据科学家或技术人员。
04
Q&A
分享嘉宾
INTRODUCTION
焦文健
京东
前京东物流产品总监
京东大数据产品总监,中国人民大学 MBA,十年以上大数据从业经验,具有数据中台化、数据业务化、数据智能化的落地实践经验。
课程推荐
往期推荐
快手数据成本白盒化治理实践
重构推荐系统,还是重构大模型?
腾讯数据采集治理之质量篇-从合规到合理
开源大数据 OLAP 的思考及最佳实践
英伟达NeMo框架在AI领域的综合应用与优势总结
蚂蚁关于TuGraph-DB 图数据库高可用架构介绍
数据平台在AI/ML场景下的应用
大模型幻觉的起因、评估及落地场景下基于知识图谱的缓解策略探索
金融行业湖仓一体架构及数据平台的技术演进
蚂蚁指标系统的设计与实践
快手关于海量模型数据处理的实践
vivo 大模型从训练到产品落地的最佳实践
字节基于用户画像标签的分析及业务场景应用
快手短视频推荐中的因果推断实践
好的数据编排怎么做?平安壹钱包大数据重构实践
小红书搜索团队提出全新框架:验证负样本对大模型蒸馏的价值
AB实验「坑」贼多?腾讯搜索实验有妙招!
点个在看你最好看