其他
腾讯Alluxio(DOP)在金融场景的落地与优化实践
导读 本文将分享腾讯 Alluxio(DOP)在金融场景的落地和优化实践。DOP 全称为 data orchestration platform,数据编排平台,是腾讯内部 Alluxio 及其生态产品组成的一个大的产品。
文章将包括以下几大部分:
1. 业务背景
2. Alluxio 方案
3. 运行效果
4. 优化调优
5. 总结展望
扫码观看本文回放👇
分享嘉宾|毛宝龙 腾讯 高级工程师
编辑整理|卢梦桃 巴斯大学
出品社区|DataFun
01
第一个是基于 SQL 的分析平台产品——idex; 另外一个是图形化的分析产品——“全民 BI”。全民 BI 是一款类似于 tableau 一样,可以通过拖拉拽的方式进行数据探索分析的工具,因为不需要编写 SQL, 所以面向人群更广,不仅包括数据分析人员,还有产品、运营等等,对耗时敏感度也会更高。本次主要介绍全民BI。
一种是倾向于使用 Alluxio 的缓存加速,把 Alluxio 跟计算引擎亲和性地部署在一起,可以换取更好的 IO 本地性,从而提升性能。 另外一种使用方式是更看中 IO 隔离的特性。不一定把Alluxio和计算做一个完全亲和本地性的部署,也可以做分离的部署,这样可以独立的扩展。如果是1比1的时候,其实受限于机器上面的资源,比如 SSD的大小,可能 Alluxio 的机器没办法承担那么大的缓存的资源量,缓存容量受限那么缓存的能力也就受限了。所以我们希望是混合部署,加上分离部署。
总结展望
分享嘉宾
INTRODUCTION
毛宝龙
腾讯TEG数据平台部数据中心
高级工程师
毛宝龙,腾讯高级工程师,Alluxio PMC & Maintainer,Apache Ozone committer,腾讯 Alluxio OTeam 开源协同团队负责人。主要负责腾讯 Alluxio 的研发和落地工作和 Apache Ozone 的文件系统方向的研发工作。
|直播推荐|
💬:京东大规模Clickhouse服务实践
🙍:李阳 京东 智能平台部 架构师
⏰:02/23 19:00-20:00
🔗:扫码进群收看直播
|免费电子书|
|商务合作|
|往期文章精选|
|关于DataFun|
🧐 分享、点赞、在看,给个3连击呗!👇