当年增长快速，太平洋保险、华泰证券、国泰君安、中国电信、上汽集团、OPPO、联想都成了他们的直接客户，这些客户的特征不仅是“规模大”，还有“标准高”。在客户增长的同时，Kyligence

本文转载自北京顺丰同城科技技术团队01背景随着顺丰末端物流（末端物流主要分为对小哥、柜机、区域等的资源的管理和分批；对路径、排班、改派等信息的实时调度和规划）业务的发展，越来越多的末端物流数据接入了顺丰大数据平台。末端物流业务作为顺丰主要的物流科技载体，不仅涉及的业务场景较广，而且对后端服务的要求更高：亿级数据量下数据统计、灵活维度组合下的数据查询、查询服务响应要求亚秒级、要求服务

交流群，获取直播链接～扫描二维码即刻进群进群前请认真阅读下方报名提示，以免错过活动：本次活动的所有信息将通过活动微信群与您同步。活动中参与互动，将有机会

部分。以上部署模板具有如下优点：使用简便，且具有一定的通用性，支持自定义化。用户还可以根据自己需要，进行相关服务模板的替换。多次测试，稳定可靠。当前该代码脚本通过测试运行良好，做到开箱即用

内存式的数据结构。比如说你先读了一个行的结构，你自己写一些插件或者什么别的方式，把行转成列批就可以了，依然是可以处理的，只不过就可能在效率、优雅上不太好。最后我和大家简单分享下我所了解的目前在整个

平台很重要的原因。但在自我保护机制这块还不够。比如对用户查询的约束，缺少一些可以为查询打分的策略，拒绝不健康查询的能力（比如查询数据量限制、前缀索引匹配机制限制等）第三点，Kylin

上对同一数据文件进行缓存：kylin.query.spark-conf.spark.kylin.soft-affinity.replications.num缓存到内存中还是本地目录，缓存到内存设置为

Hive、MapReduce、HBase，需要学习和了解多种技术架构，熟悉多种组件参数配置，学习成本和调参难度较大。与此对应，Kylin

：https://cwiki.apache.org/confluence/display/KYLIN/Support+Hadoop+Version+Matrix+of+Kylin+404升级从

不是一个云原生系统，很难做到弹性的资源伸缩，随着数据量的不断增长，这个系统对于商家而言，使用时间是存在高峰和低谷的，这就造成平均的资源使用率不够高。面对这些挑战，有赞选择去向更云原生的

不是一个云原生系统，很难做到弹性的资源伸缩，随着数据量的不断增长，这个系统对于商家而言，使用时间是存在高峰和低谷的，这就造成平均的资源使用率不够高。面对这些挑战，有赞选择去向更云原生的

release，才会继续进行后续的构建任务，所以开启这个功能之后，会在一定程度上影响构建的并行度。用户可以参考自身需求，根据实际场景来使用。在有赞的实践经验中，配置

等工作。Q做一名远程办公者，你的日常工作跟其他程序员有没有什么不一样的？远程办公的方式，挺符合开源社区维护与开发的工作性质——远程异步协作，毕竟参与开源社区的人员，来自全球不同的时区和地区，通过

分钟。关于细节的实现可以关注：https://issues.apache.org/jira/browse/KYLIN-4941构建：重刷数据时限流策略背景：有赞的主要的离线计算集群规模在数万

解决他们生产中遇到的问题；自己全程参与开发与测试的新版本成功发布，这些看起来平平无奇的瞬间，因为可以得到社区和用户的认可，都成为了值得纪念的高光时刻。小编在此趁机安利一下亚倩小姐姐贡献颇多的

用户快来测测基于你们的业务场景，是不是也有不错的性能提升呢？本次收集的性能测试报告也会总结并回馈给社区用户，统计结果仅用于改进产品。你来写报告，我来送奖品！欢迎大家踊跃参与哦！质量

已经成为一个相对稳定的版本，在多个早期用户的测试验证中都验证了构建和查询功能基本达到相对完备的程度，但是目前仍有不少在性能和功能上的提升空间。我们十分欢迎大家积极参与到测试和开发的过程中，并且对

信息，以及各个阶段的查询耗时。通过完善这些信息，我们提高了慢查询的诊断效率，便于进行查询的治理，提高查询的性能。我们对查询做了一些限制，Kylin

的流程进行了简化，同时对接了公司的权限体系来对模型进行权限控制。在任务管理上，由平台控制任务的提交，包括任务的优先级，任务的运行数，还有对任务状态的监控和异常数据的报警等。在查询上，包括对

的发布。作者简介邸星星，汽车之家实时计算平台负责人，长期从事实时计算与数据分析领域的平台建设工作，致力于为公司提供大规模、高效、稳定的计算与查询服务。本周活动推荐大数据场景下，用户行为分析怎么做？

负责从流式数据源获取数据并回答实时数据查询。实时段数据首先存储在内存中，然后以列式存储的片段文件形式刷新到接收器的本地磁盘，并且当磁盘上的片段过多时，它们将被自动合并，最后移交到完整的

Introduction：https://cwiki.apache.org/confluence/display/KYLIN/System+Cube+Introduction_CN

超过三千后，元数据的更新会显著影响查询和构建速度，需要拆集群来应对。这也是我前不久刚完成的工作-重构元数据读写和二级缓存代码，查询响应时间低优先，支持二级缓存局部更新，使单个项目能够支持

导读：数据驱动的方法论已深入人心，无论是开发、产品还是运营，根据数据进行决策是必备环节。你是否好奇过，在优酷这样海量数据的场景下，是什么样的引擎在支撑着业务上林林总总的分析需求？大数据领域中，Kylin、Druid、ES、ADB、GreenPlum、ODPS这些眼花缭乱的名字，它们之间又要什么区别和联系、企业如何进行选型？本文将为揭晓答案。目前优酷的工作类型广泛，既有会员营销这种比较复杂的分析，又有优酷播放器性能优化这种对实时性要求比较强的业务需求，在不同的业务场景里面需要使用不同OLAP引擎来达到不同的效果。本文的主要内容包括：大数据给传统数据技术带来的挑战市面上各类大数据OLAP技术方案一览优酷不同业务场景的OLAP选型01大数据给传统数据技术带来的挑战我们知道，大数据在市场分析、性能诊断、客户关系、数据运营、广告投放等都占据着重要的地位。同时，在利用大数据的过程中，也给我们带来了诸多挑战：1.

读出来的数据会自动缓存到客户端所在节点（虚拟机或容器都可以）的本地存储上，下次再访问这份数据，就会直接从本地存储中读取，不再经过网络。在大数据的查询分析场景中，数据通常是有热点的，在

引擎的开发和维护以及运维指标体系的建设。邸星星邸星星，汽车之家实时计算平台负责人，长期从事实时计算与数据分析领域的平台建设工作，致力于为公司提供大规模、高效、稳定的计算与查询服务。Mateusz

用户大家好啊！转眼间又过去了两个月，又到了月初交作业的时间。我们在这里和大家更新一下十月和十一月的开发进度，以下是

整体资源申请最小值大于Stage阶段Top1、Top2层级的缓存数据之和，保证缓存数据全部在内存。如下图所示：计算公式：Stage阶段Top1、Top2层级的缓存数据之和

的诞生为大家带来了极速大数据分析体验，更聚集了一群志同道合、有开源精神的小伙伴。开源之路漫漫其修远兮，我们始终坚信每一个

Kylin，服务于多个业务线与商业数据产品，被广泛应用于流量、用户行为、推荐等分析场景中。目前生产环境部署的是基于社区

相较之前的版本是一个重大的架构升级版本，全新的构建引擎和查询引擎极大地提升构建性能和查询性能，解决了查询单点问题等痛点；去除了

不仅要主动“揽活”，还要负责“善后”工作。任务的执行状态要通过访问数据库才能获得，对于那些任务复杂的工作流来说，时效性，任务吞吐，数据库压力都会成为调度性能的瓶颈。DolphinScheduler

Kylin的同学是可以看出来查询是不是不合理，是不是跟Rowkey设置不符，我们想以后做这样一个功能，把人为判断的经验程序化，在SQL没有执行之前就把潜在的风险化解掉。慢查询治理

计算任务集成到调度系统呢？因为通过调度系统，可以很好的解决任务间的依赖问题，任务失败也可以自动重跑，失败的任务会有电话、钉钉告警，便于第一时间发现问题。2）已有功能中通的调度系统目前支持指定

的维护人员去帮助进行优化。还有一些其他的问题，比如在数仓里面碰到的一些经典问题，维度的缓慢变化、多值维度(例如一个CA管理多个店，一个店被多个CA管理，多对多关系）。究其原因，很多都是由于

个问题，包括缺陷修复和改进等，详情请访问：https://kylin.apache.org/docs/release_notes.html重要更新：[KYLIN-4612]

Contributor，《ClickHouse原理解析与应用实践》、《企业级大数据平台构建：架构与实现》作者，公众号《ClickHouse的秘密基地》运营者，ClickHouse

场景化搭建指标体系目前阶段互联网业务比较流行的一种通用抽象场景“人、货、场”，实际就是我们日常所说的用户、产品、场景，在通俗点讲就是谁在什么场景下使用了什么产品，不同的商业模式会有不同的组合模式。

https://cwiki.apache.org/confluence/display/KYLIN/Use+different+spark+pool+for+different+queryb.

正是这种理念。HTAP事务处理和分析处理在一个数据库中提供，是最理想的状态，但是二者的技术体系往往又很难融合，因此现在很多数据库厂商都在做这方面的尝试，保证数据一致性是很大的挑战，一种思路是从

Meetup，届时也欢迎大家踊跃参与。另外，我们也欢迎各位小伙伴在留言评论区留下你们想要了解的话题，我们会尽量满足大家～

邮件列表：user@kylin.apache.orgdev@kylin.apache.org注意：该邮件列表需要订阅才能使用。如未订阅该邮件列表，请先发送邮件至

Team。在工作之余，我比较喜欢小动物，但是感觉自己并没有很多时间去照顾宠物，就只能走上了云养猫的道路。平时会去小区里喂喂流浪猫，看着这些猫猫慵懒地躺着晒太阳的样子就感觉很治愈解压。如何与

4.Xhttps://cwiki.apache.org/confluence/display/KYLIN/Configuration+Kylin+4.XRestful

2，格式为：{TABLE_NAME}_{COLUMN_NAME}:{num}例如：KYLIN_SALES_SALES_ID:10,KYLIN_SALES_BUYER_ID:5

将实现真正的计算和存储分离，减小运维难度，降低资源成本。越来越多的企业也正在从本地部署的数仓方案转向基于云的解决方案。由于无可取代的弹性扩展性、容灾性、低

Objects:NamespaceServicePodVolumesDeploymentStatefulSetConfigMapsSecrets首先可以通过下图两种方式来创建所需的

集群化当前每个业务一个实例，稍微有一些大查询就会引起性能波动。若给每个业务部署多个实例，则平时利用率又非常低。通过集群化部署的模式，每个用户都能用到全部的实例，稳定性会大幅提升；3.

邮件列表：user@kylin.apache.orgdev@kylin.apache.org注意：该邮件列表需要订阅才能使用。如未订阅该邮件列表，请先发送邮件至

的频次，但仍然可能存在风险。所以，这一块的改进建议是引入一个场景化的开关：如果内存资源充足那么我们就可以尽量用这两个算子来降低构建时间，如果内存资源有限，那么我们可以选择更稳定的方式来构建。