其他
10亿数据秒级查询,西南证券与镜舟科技合作,构建极速、高效数据平台
金融科技数字化创新篇章
西南证券,作为中国最早的证券公司之一,自1988年成立以来,一直以其多元化的业务和稳健的经营策略,为客户提供全面的金融服务。2022年,公司实现了23.29亿元的营收和5.99亿元的净利润,资产总额达到846.75亿元。
挑战:在数据洪流中的调整航向
随着业务的快速发展,西南证券的用户运营分析系统遇到了以下挑战:
1. 现有的Oracle报表平台在并发和查询性能上无法满足日益增长的业务需求,尤其是在处理10亿级别数据量时表现不佳;
2. 使用Impala进行的作业执行存在资源抢占问题,影响了整体的数据处理效率;
3. 业务团队和大数据团队使用多套系统,系统架构中包括Doris、Impala和Oracle等多个组件,增加了运维的复杂性和难度。
解决方案:技术融合与现代化改造
西南证券在经过调研选型以及POC测试后,选择与镜舟科技合作,通过以下方式解决上述挑战:
1. 数据导入与处理:数据通过实时和离线的方式导入StarRocks,确保了数据处理的灵活性和实时性。
2.宽表与窄表的划分:在StarRocks中根据业务逻辑进行数据表的合理划分,优化了数据结构,提高了查询效率。
相较于之前,升级后的系统架构更简洁、业务赋能的范围更广、查询与分析性能更加优秀。
应用场景:多维度的洞察支撑
股票维度分析:对5000多只股票进行多维度分析,深入挖掘市场动态。 客户维度分析:包括客户账户分析、资产分析、盈亏分析以及登入日志分析,全面了解客户需求和行为。 机构维度分析:评估各分支机构的运营状况,包括每月的成交流水和委托流水等关键指标。
收益:性能飞跃与成本优化
StarRocks系统使得原本在Oracle中无法完成的10亿数据查询任务,在10秒内即可得出结果。