可以选择立即兑换相应奖品，或者等完成上述全部打卡后，根据自己的积分总和在积分商城选择想要的奖品进行兑换，未兑换完的积分将在本系列直播结束后（2023年3月底）自动清零。5.

作者：零洞科技大数据部零洞科技有限公司（以下简称“零洞”），是碧桂园集团的核心联盟企业，致力于成为国内领先的数智空间解决方案服务商，业务场景覆盖户内及户外，在智慧家居板块，打造一站式智慧家居解决方案，构成丰富的生活场景，满足高端用户智能生活体验；在智慧园区领域，为园区提供全链路智能化产品及服务，打造高效、节能、安全、智能的园区环境，具有千万级智慧园区项目实际落地案例。截至目前，零洞数字化交付项目超2100项，具备亿级设备和数据处理的平台建设及业务应用研发经验。2022年6月，零洞与碧桂园服务（HK6098）就物业企业微信数字化项目展开充分合作。当前，碧桂园服务是全国规模最大的社区服务运营集团，经测算，共7000+物业管家，上万服务人员，累积服务业主超1400万人，累积管辖房屋达486万户。#01引入背景—基于上述业务规模，经合作需求评估，该项目需搭建一个数据服务中台，以支持以下需求：1、支持每年超十亿数量级数据的存储和计算，包括但不限于：物业企微会话存档聊天、关联认证、用户行为、管家任务管理、客户舆情分析等各方面数据。2、支持全国上千的高并发，秒级的访问、查询、计算、报表导出等要求。3、在此数据中台的基础上，在可视化平台完成报表、看板、大屏的开发展示等需求。在技术框架选型上，碧桂园服务与零洞科技综合对比了国内外常见的

作者：易点天下数据平台团队易点天下是一家技术驱动发展的企业国际化智能营销服务公司，致力于为客户提供全球营销推广服务，通过效果营销、品牌塑造、垂直行业解决方案等一体化服务，帮助企业在全球范围内高效地获取用户、提升品牌知名度、实现商业化变现。目前，易点天下累计服务客户超过5000家，其中包括华为、阿里巴巴、腾讯、网易、字节跳动、百度、快手、爱奇艺、SHEIN、Lazada

集团是中国互联网生活服务领域的领导者，旗下有国内最大的生活服务平台，覆盖了国民日常生活的大部分场景，因此也产生了多种多样的业务分析需求，比如用户画像、安全检测、日志分析。作为

近年来，在证券服务逐渐互联网化，以及券商牌照红利逐渐消退的行业背景下，中信建投不断加大对数字化的投入，尤其重视数据基础设施的建设，期望在客户服务、经营管理等多方面由经验依赖向数据驱动转变，从而提高服务水平和决策效率。因此，在公司总部和各分支机构，包括经纪、资管、投行等业务部门，以及稽核、审计、财务、法务等职能部门，对自助分析、多维分析、固定报表和

系统的选型。#03系统架构1系统架构描述下图左边就是网易邮箱大数据处理系统的系统结构图，从左到右，从下到上可以分为5个层次。左下角是数据采集层，它主要的任务就是将分布在各个服务器上的日志数据，通过

作者：王满，高级数据架构工程师首汽约车（以下简称“首约”）是首汽集团为响应交通运输部号召，积极拥抱互联网，推动传统出租车行业转型升级，加强建设交通强国而打造的网约车出行平台。在用车服务方面，包括了即时用车、预约用车、多日接送、包车业务、接送机、国际用车、城际拼车等用车服务场景，提供出租、畅享、舒适、商务、豪华、巴士等丰富车型。首汽约车还通过数据整合和智能科技陆续推出了学生用车、老人用车等产品来满足不同人群的出行需求。随着5G时代的到来，首汽约车还开启基于5G边缘计算的网约车移动业务试点项目，探索5G时代边缘计算在出行领域的应用和拓展，推动出行行业的发展升级，引领智慧交通时代。多样的用户人群、丰富的服务场景、持续升级的智能出行技术，带来业务分析需求的持续增加，分析需求复杂度的持续增加，构建一个强大统一的基础数据层势在必行。#01引入背景—2016

分为两个模块，一个是数据源自动切换模块，会根据我们的分级策略自动选择不同的数据源，去查询返回数据。核心模块是智能分级策略模块，其分级策略有两个部分，一个是实时的动态路由配置策略，这是

的结构十分精简，部署较为便捷。而运行上的稳定可靠，使得对运维的资源消耗非常低。插件丰富：开发者维护了一些较为实用的插件和工具，可以进行一键部署、日志结构化等。如果这些功能后期能够稳定嵌入

<u>@StarRocks</u>isgood），只有在受邀请人成功提交

localcache、外表物化视图等特性，用户无需数据导入即可享受到堪比数仓分析的极速性能体验，更加敏捷地从数据湖中获取灵感和洞见，驱动业务增长。这个冬天，StarRocks

的缓存架构，我们也采用分级缓存的策略。第一级是内存，第二级是本地磁盘，对于缓存到内存的极热数据，所有的读取都能够直接引用缓存本身的内存，无需进行内存拷贝，在数据不断更新的场景下，新增数据通常会导致

等，优化了数据导入，比如上亿数据量导入时间从几小时缩短到几分钟。4最终收益引擎收敛的结果在以下各个方面都比较突出：引擎变化带来的业务接口查询速度提升，接口查询速度达到毫秒级。一方面

实业建设的高峰期，对个人而言，这是积攒能力或者学习历练的好机会。放眼当今中国，很少有集团级的企业做这么大的投入，这对个人来说还是比较好的机遇，再此也欢迎感兴趣的朋友加入我们，助力

中纺集团经过“十三五”信息化建设，生成了大量宝贵的数据资源，但也存在信息孤岛、系统壁垒、数据质量等问题。中纺结合企业实际需求，按照集团“十四五”信息化规划中有关数据中台的建设计划与目标要求，历经半年多的测试比选，最终选定

表有数据变化的时候，它会自动去判定哪些分区需要刷新并进行智能刷新，对于不需要刷新的分区就不刷新。离线场景也可以支持以天为周期进行调度。离线的场景下由于数据量比较大，有可能查询需要调整一些特殊的

表，不再需要以前的手工创建外部表的繁琐过程。(https://docs.starrocks.io/zh-cn/latest/data_source/catalog/hudi_catalog）全新

的目的是在数据分析时实现更好的性能、更低的成本。这里的成本包含技术成本、运维成本、使用的计算成本和存储成本，同时整个系统要有很好的可用性。接下来介绍在性能、成本和可用性等方面面临的问题。1.

4);这里需要注意的是，提取出来的谓词范围可能是原始谓词范围的超集，所以不一定能直接替换原始谓词。4等价推导在谓词上，除了上述的谓词提取，还有另一个重要的优化，叫等价推导。等价推导主要利用了

能力和支持更新的主键模型，数据模型向星型模型/雪花模型转变。一方面，即使维度发生变化，也无需回溯成本；另一方面，将事实表与维度表解耦，有助于灵活应对多维分析场景。4精确一次性保证引入

层只需要做逻辑层变更，做相对弹性的变更，不需要更新物理数据。这是我们早期的数据架构情况，这是一套比较通用的模型，其优缺点分别为：优点：开源组件比较灵活。缺点：框架比较笨重，运维成本比较高。因为

be/src/exec/pipeline/query_context.cpp，如果对象本身可以独立完成初始化、不依赖参数设置、不依赖于其他对象的初始化顺序，则可以定义为单例。Pipeline

作者：专业研究的爱分析ifenxi近年来，随着银行业务场景的不断丰富、业务规模的不断扩张，用户线上线下交易大幅上升，数据量与数据种类愈加丰富，大量创新型数据分析和应用场景出现，对分析型数据库的存储与计算能力提出了更复杂的需求，尤其在对实时数据价值的深入挖掘、数据库查询与分析性能的提高上提出了更高要求。为满足以上需求，银行纷纷开始重塑数据库体系，对已有分析型数据库进行改造，在支撑业务需求的同时简化架构。近日，专注于数字化市场的研究咨询机构爱分析深入调研了行业中一批国内领先的银行数字化转型实践案例，围绕实践领先型、案例创新性、应用成熟度、价值创造四个维度对多个实践案例进行评选，经过多轮评选与角逐，由StarRocks提供技术支持的“中原银行OLAP全场景架构解决方案”案例凭借其完整且个性化的实施方案、卓越的项目效果当选优秀创新实践案例。该案例中，中原银行借助StarRocks对数据分析架构进行改造升级，构建了全新的数据分析平台，从而提高用数效率，赋能银行经营管理与业务发展。#01数据量激增，业务场景多元化，中原银行数据平台需升级—中原银行成立于2014年，是河南省唯一一家省级法人银行，今年经改革重组后，该银行总资产规模已突破1.2万亿元，下辖18家分行，有400余家营业网点，2万余名员工以及17家附属机构，目前已成为河南省首家资产超万亿的城商行。随着业务不断扩张、数据量的高速增长以及业务逻辑复杂程度的不断提升，银行需要更加快速地响应客户，为其提供更加精准的服务，即使用实时数据进行客户洞察，以帮助银行经理与业务人员做出业务决策，提高管理水平。为此，中原银行搭建了一站式商业智能BI平台，该平台分为客户行为分析系统知秋、一站式报表平台鲁班、一站式大屏平台鸿图和自助分析平台云间四大应用系统，总用户超一万人，月活用户在3000以上，月均点击次数为20万以上，用户规模大且使用频率高。为支持BI平台的快速高效工作，中原银行还搭建了完整的数据平台。该数据平台分为数据源、数据传输、数据存储计算、数据服务与数据应用五大部分。数据源是通过Oracle数据库对核心数据、信贷数据、绩效数据等进行存储。数据传输主要依赖中原银行自主研发的百川离线同步平台与实时传输AR平台。存储计算层主要分为数据湖、离线数仓与实时数仓三部分。其中，数据湖对半结构化数据、非结构化数据和部分系统日志与历史数据进行存储；离线数仓是基于Gauss

线程调度。为了避免执行线程的上下文切换，需要控制执行线程的数量不超过物理核数，并且执行线程为跨查询的全局资源，这种阻塞挂起会显著影响

实现并发处理，从而充分利用多机、多核提供的计算能力。表在创建的时候可以指定副本数，多副本够保证数据存储的高可靠、服务的高可用。Rowset：每一次数据导入都会生成一个新的数据版本，保存在一个

技术的加速度发展下，万千事物即数据，一切场景可分析。为满足商业社会的生产需求，构建全新的企业数据驱动体系迫在眉睫。应需而生，让企业的数据分析变得更加简单和高效，真正缩短从数据到业务价值的时间，这正是

架构下的性能还没到极限，但是取得大的突破可能需要比较大的精力，我们或许可以考虑在新的硬件开辟新的赛道和战场。其五，挑战不可能。创业两年来，我们团队从零实现了向量化引擎、CBO

数据接口组合模式，在查询某个供应商的应付款余额等少量数据查询请求时还可以应付。对于批量查询，比如，查询所有冻结状态的供应商应付款余额，就比较复杂了。需要先根据冻结状态，通过供应商

套左右了，历史的集群在逐步迁移到云环境上。新的集群默认使用云化环境部署。其他云化相关管理的工作还在持续开发中，例如云宿主机智能诊断、套餐资源池情况等等，后续会进行分享。#04总结和展望—我们线上使用

"wo"}。我们会把所有的输出都加入到一个新的字典中，与此同时，我们还得到了两个字典之间的转换关系。例如字典码1的输入在经过这个函数之后会变成新字典的字典码1。有了这个映射关系，对输入的数据，进行

终端用户属性、行为偏好、兴趣爱好等信息进行标签化处理和计算，识别出不同的用户类别，根据不用的类别进行人群圈定，对目标用户进行精细化运营，挖掘更有价值的用户群体。平台主要提供三大方面功能：1.

进行提速查询，所以技术需要保证业务数据一致性、时效性和查询性能。第三，千万级维表数据关联查询性能低下。第四，业务发展使数据快速膨胀，线性扩容成本高。#02旧数据架构和

提供包括算子下推内的计算能力。这样就可以实现秒级的弹性以及弹性过程中集群的性能稳定，同时可以针对每一个请求即时分配计算资源，计算完成以后马上释放，实现真正的

之前，我们早期使用了很多组件：Druid、Kylin、ElasticSearch、Kudu、ClickHouse、Impala。这些组件的适用场景都不尽相同，语法以及能力也各有千秋。我们用

月，京东物流于香港联交所主板上市。京东物流是中国领先的技术驱动的供应链解决方案及物流服务商，以“技术驱动，引领全球高效流通和可持续发展”为使命，致力于成为全球最值得信赖的供应链基础设施服务商。基于

数据库，自带数据存储，整合了大数据框架的优势，支持主键更新、支持现代化物化视图、支持高并发和高吞吐的即席查询等诸多优点，能出色解决我们遇到的问题。#03应用实践—在生产环境中，StarRocks

SQL。监控方案：https://docs.starrocks.com/zh-cn/main/administration/Monitor_and_Alert解决方案StarRocks

中都得到了解决：灵活数据建模方式支撑在综合数据服务平台中，部分的固定报表业务可以根据查询在数据导入时拼成宽表。但对于数据探查业务更为灵活的自助报表业务，我们很难预定义宽表的结构。StarRocks

依赖预计算，当数据源发生变化时需要重新计算，无法自动同步更新。统计维度发生变化时，需要重新计算历史数据，耗费大量的计算资源和人力成本，并且指标在重算窗口期内不可查询，影响业务使用。2.

实时数据的分析对企业数字化运营和决策已然至关重要，因此很多用户构建了实时数据分析平台。为了对业务各类“变更”进行实时分析、快速响应业务变化，实时数据更新成了实时分析的核心要求。很多用户在进行实时数据更新时，查询性能不够理想，大大降低了业务分析效率。和其他行业领先

不仅可以高效支撑雷达分析平台对汇总数据的查询需求，也能很好地支撑人群画像平台数组类型分析和精准去重的需求。这大大精简了数据链路，不仅降低开发和运维成本，也节约存储成本。#04StarRocks

优化。向量化执行不仅仅是数据库所有算子的向量化和表达式的向量化，而是一项巨大和复杂的性能优化工程，包括数据在磁盘、内存、网络中的按列组织，数据结构和算法的重新设计，内存管理的重新设计，SIMD

100Gbps，网络在大数据架构中已经不再成为瓶颈，存储和计算分离的架构更加符合我们的需求。业务的快速发展使得数据平台的转型迫在眉睫。经过内部多轮沟通和探索，发现

作为国内⾸家互联⽹保险公司，众安保险是一家以技术创新带动⾦融发展的⾦融科技公司。区别于传统保险公司的运营模式，众安保险业务流程全程在线，全国均不设任何分⽀机构，完全通过互联⽹进⾏承保和理赔服务。目前已服务超5亿用户，2021

也冗余多副本进行存储，默认三副本。单次导入的数据，同步发给三个副本，由它们各个写入自己的数据存储引擎中，当其中两个副本完成写入时，即可认为这批次导入完成。所有的导入任务统一由

tracing:https://speakerdeck.com/adriancole/observability-3-ways-logging-metrics-and-tracingDapper,

商务合作：bd<u>@StarRocks</u>.com

商务合作：bd<u>@StarRocks</u>.com

商务合作：bd<u>@StarRocks</u>.com

商务合作：bd<u>@StarRocks</u>.com