查看原文
其他

第8期吐槽:高并发短连接性能怎么这么差?

digoal PostgreSQL码农集散地 2024-07-08

文中参考文档点击阅读原文打开, 同时推荐2个学习环境: 

1、懒人Docker镜像, 已打包200+插件:《最好的PostgreSQL学习镜像

2、有web浏览器就能用的云起实验室: 《免费体验PolarDB开源数据库

3、PolarDB开源数据库内核、最佳实践等学习图谱:  https://www.aliyun.com/database/openpolardb/activity 

关注公众号, 持续发布PostgreSQL、PolarDB、DuckDB等相关文章. 


第8期吐槽:高并发短连接性能怎么这么差?

1、产品的问题点

  • 高并发的短连接性能差劲

2、问题点背后涉及的技术原理

  • 短连接是指每次发起SQL请求时新建数据库连接, SQL请求结束后断开数据库连接的情况. 由于PG是进程模型, 每次发起会话时需要fork process, memcpy等动作. 每秒可以新建的进程数比较有限.

3、这个问题将影响哪些行业以及业务场景

  • 没有连接池的高并发业务

4、会导致什么问题?

  • 性能极差, 每秒新建连接数可能不到2000

5、业务上应该如何避免这个坑

  • 使用连接池

  • 如果应用程序本身不具备连接池的能力, 使用pgbouncer这类中间连接池

6、业务上避免这个坑牺牲了什么, 会引入什么新的问题

  • 增加了管理复杂度

7、数据库未来产品迭代如何修复这个坑

  • 内置线程池

  • 使用PolarDB, 内置shared server, 可以抵挡上万高并发小事务性能不降. 参考github文章: 《开源PolarDB|PostgreSQL 应用开发者&DBA 公开课 - 5.5 PolarDB开源版本必学特性 - PolarDB 特性解读与体验》

  • 还有postgrespro也发表过内置连接池的功能, 参考github文章: 《PostgresPro buildin pool(内置连接池)版本 原理与测试》 而且这个patch 在9年之前的PG 9.6版本发布时就有提交, 可惜一直没有被社区接收, 又要再多加一条吐槽, 是谁在阻止好的功能合并入社区版本? 拉出来鞭尸一百遍.


帮朋友代发上海招聘资深PostgreSQL DBA, 公司简介:  
http://www.jiayintech.cn/aboutjiayin
嘉银科技是中国领先的科技服务集团,致力于以大数据、云计算、人工智能等技术在消费场景内连接消费者与金融机构,让每位用户都能享受到高效便捷的科技服务,同时助力金融机构业务高速增长。
嘉银科技由严定贵先生于2011年6月18日创立,总部在中国上海。嘉银科技于2019年5月10日在美国纳斯达克成功上市,股票代码:JFIN。
嘉银科技从创立之初就将科技创新刻入企业发展基因,坚持数字+科技双驱动,重点构建以大数据驱动为核心理念的云服务平台和智能风控体系。
放眼全球,嘉银科技业务已经覆盖东南亚、非洲、拉丁美洲等多个地区,未来将继续推广到更多国家和地区。
嘉银科技全面聚焦科技战略,在科技领域全面开花结果,“天引”智能资金管理平台高效匹配资金资产,“明鉴”智能风控引擎大幅优化风控水平,“大禹”数据资产管理平台系统提升数据治理能力,“嫦娥”智能语音呼叫平台提供合规贴心贷后服务。多项科技创新成果的集中落地,促进嘉银科技实现了流程数字化、监督自动化、决策科学化,数字经济基石不断夯实,数字技术能力飞速发展。
岗位描述:
1、负责管理和维护PostgreSQL、MySQL、Oracle、Mongo、图数据库;
2、负责数据库性能调优、监控、备份、异常处理、故障恢复;
3、负责数据库运维标准化,规范化,以及相关文档编写及管理;
4、负责数据库中监控工具软件的维护及管理工作;
5、负责数据库新技术的探索及落地,寻求数据库高可用解决方案;
6、负责公司核心业务数据库的安全、性能稳定运行;
岗位要求
1、全日制本科及以上学历,5年以上PostgreSQL、MySQL、Oracle数据库管理经验;
2、精通PostgreSQL、MySql数据的体系结构及运行机制,主从及高可用部署、性能优化和故障排查;
3、精通Oracle数据库的DG的安装部署、性能优化及备份恢复管理;
4、精通Oracle数据库的RAC的安装部署、节点扩充、磁盘、共享存储的扩充及优化;
5、熟悉MongoDB主从、分片集群搭建、日常维护及故障处理;
6、熟悉图数据库的部署、日常维护及故障处理
7、精通数据库的索引、执行计划,SQL运行的机制,并对SQL进行优化处理;
8、具有良好的沟通能力和团队协作精神及技术专研能力,工作认真负责、有责任心、吃苦耐劳,对技术有强烈的爱好;
感兴趣的小伙伴请联系蒋总 jianghui@jiayinfintech.cn 

文章中的参考文档请点击阅读原文获得. 


欢迎关注我的github (https://github.com/digoal/blog) , 学习数据库不迷路.  

近期正在写公开课材料, 未来将通过视频号推出, 欢迎关注视频号:


继续滑动看下一个
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存