云数据库技术

其他

云时代数据库DevOps:硅谷调研(下)- Code is everything ,技术架构与企业文化和组织架构一致

PostgreSQL,用来存储用户信息包括重要的币值/余额。用户在系统中的操作,属于海量低价值数据,通过BigQuery来批量分析。业务开发主要用Java和JavaScript。•
2月28日 上午 8:36
其他

云时代数据库DevOps:硅谷调研(中)- 谁对数据库负责?开发和Data Service

(https://github.com/checkstyle/checkstyle)保证所有Code(Java和SQL)的统一和标准化。对应的DBA是一个很小的团队,主要负责infra,
2月27日 上午 8:36
其他

云时代数据库DevOps:硅谷调研(上)

走向DevOps:云时代数据库开发硅谷调研总结作为一个数据库内核老兵,一直欠缺从应用开发和DBA/DevOps的视角,尤其是经过云时代的革命之后,在现实世界中如何使用数据库的经验?好奇心驱动笔者在过去两个月,拜访了一些在硅谷的高科技公司,今天将这个第一手的不全面的小结分享给大家。数据库是任何业务最关键核心的组建,尤其是传统型事务数据库OLTP。以最简单的架构为例,用户数据比如账号管理在MySQL/PG中存储;后台通过Java的应用程序来交换访问处理数据;前台通过客户端,如手机端或者是网页端来跟最终的用户交互。在介绍本次调研中,笔者将会把调研对象的软件和组织架构对照这个例子简化。一、挑战:Stateless业务应用开发与stateful数据库的稳定态在这个过程中数据库是stateful的状态机,从一个稳定态向下一个稳定态转变。传统前云(pre-cloud)阶段,数据库的变化主要指它的schema(数据库对象,比如表格,索引)演进和用户数据本身的变化(在上面的例子中就是个人账户的余额);云时代引入第三个变量:资源管理。显而易见,用户数据的变化大部分是通过java的应用程序来完成的;schema演进即可通过应用程序,常常是拥有特殊权限的管理员(为方便理解,本文还是采用传统方式,称他们为DBA或系统管理员admin);资源管理,很多是管理员手工操作,越来越多地转向IaC(Infra
2月26日 上午 8:21
其他

云数据库性能深度测评与对比

笔者一直都在非常深度关注、调研和使用云数据库,其中性能是关注的重点之一。一方面性能是最终成本的重要影响因素,更好的性能,通常意味着使用更少的资源支撑更高的业务量,从而降低整体成本。另外,性能还意味着在极端场景下,数据库的上限支撑能力。所以,近期对各个云数据库厂商做了一个较为系统的性能对比,供开发者和企业在云数据库选型时的参考。总览:云数据库性能对比在进行大量测试之后,对主要的云厂商分别选择了一个“企业级规格”(适合生产环境配置的)进行了对比。性能对比如下图:可以看到:*
2023年12月18日
其他

云数据库技术行业动态@2022-09-30

重要更新「格睿云Greptime」完成天使轮融资时序数据库厂商「格睿云Greptime」已于近期完成天使轮融资。据介绍,本轮融资金额在数百万美金级别,由耀途资本领投,九合创投跟投。Greptime成立于2022年4月,是一家时序数据库厂商。公司CEO
2022年9月30日
其他

数据火器库 - 八卦系列之借老枪谈可靠性

testing),比如说连接数/concurrency突然提升情况下,是否还能够保证吞吐量和延时保持着正常水平,后面的任务可以排队,而不会因为高压力下造成系统完全不可用。写code就会有bug,
2022年9月26日
其他

数据火器库 - 八卦系列之瑞士军刀: 随APP携带的SQLite

马后炮,评英雄《成功学》最重要的优势就在于:面对一个已经成功的产品,项目,人或者团队,总结(堆砌)其英明决策。现实世界是黑白多变的,历史偶然性多于必然性,尤其是具体的人和事。回头看SQLite,
2022年9月19日
其他

云数据库技术行业动态@2022-09-16

。这篇文章虽然PR痕迹很重,但是依旧非常系统的介绍了过去3~5年,阿里数据在非常前沿的数据库技术上的探索与布局,包括了加密数据库、数据库自治以及空间数据库等,非常值得阅读。TiDB
2022年9月16日
其他

数据库发展史2--数据仓库

回顾数据仓库的发展历程,大致可以将其分为几个阶段:萌芽探索到全企业集成时代、企业数据集成时代、混乱时代--"数据仓库之父"间的论战、理论模型确认时代以及数据仓库产品百家争鸣时代。数据仓库理论发展历程上世纪70年代,IBM的E.F.Codd等人提出关系型数据库后,MIT的研究员提出单独构建分析系统的基础理论,新的理论试图将业务处理系统和分析系统分开,即将业务处理和分析处理分为不同层次,针对各自的特点采取不同的架构设计原则。他们认为这两种信息处理的方式具有较大差别,应使用不同的架构和设计。但受限于当时的技术能力,这个研究仅仅停留在理论层面。到了80年代初,W.H.Inmon
2022年9月14日
其他

“重磅升级”后再测TDSQL-C

1.摘要前段时间,测试了国内主要云原生数据库PolarDB、TDSQL-C、GaussDB的性能,参考:《再测云原生数据库性能》。在上次测试结果中,由于地域版本差异,腾讯云的TDSQL-C并没有表现出“重磅升级”的效果,现在两个月过去了,我们再来重测TDSQL-C。先说结论:相比之前,本次TDSQL-C性能有了非常显著的提升,在这里的场景与规格(4c16g)下,读写性能相比之前提升了80%经过与腾讯云数据库团队沟通,选择了在已经完成“重磅升级”的“北京六区”进行测试;另外,据悉,预计12月底,所有地域将完成升级2.详细测试结果TDSQL-C在「读写混合」场景下,8月比6月的性能有显著提升:各厂商在「读写混合」场景下的压测结果,TDSQL-C升级之后,性能显著提升:注意:阿里云和华为云为6月份的测试数据本次测试的主要目的是对比TDSQL-C升级前后的性能差异。可以看到,腾讯云的TDSQL-C在升级之后性能显著提升,某些场景下甚至提升了近一倍的性能。3.测试说明这里对我们的测试方式做一个详细说明。本次测试还是选择4c16g的规格进行对比,使用了工具sysbench
2022年9月8日
其他

《MySQL自传》

90,10那些老家伙是下面的打法,实在是丢人,三招打完,感觉还是云里雾里:#Oracle使用rownum分页语法
2022年9月5日
其他

云数据库技术行业动态@2022-09-02

款,包括《弓箭传说》《江南百景图》《摩尔庄园》《一念逍遥》《闪耀暖暖》等:参考。中国数据库学术会议NDBC在山东威海顺利召开2022年8月19日-21日,第39届中国数据库学术会议(NDBC
2022年9月2日
其他

数据库发展史1--传统数据库

R项目以及Codd关系模型的理论基础上,开发出学院派的关系数据库系统Ingres。然而第一个商用的关系型数据库产品,是1976年霍尼韦尔(Honeywell)公司推出--Multics
2022年8月25日
其他

云数据库技术行业动态@2022-08-19

重要更新OceanBase发布4.0,超级科普网红李永乐站台8月10日,OceanBase年度发布会,正式发布了4.0版本。主要发布包括,单机部署最小支持4核8G;分析能力实现了由全场景向量化能力覆盖;OceanBase
2022年8月19日
其他

云数据库技术行业动态@2022-08-05

RDS机器学习能力公测发布,该功能基于蚂蚁金服的开源机器学习工具SQLFlow,可以通过简单的SQL命令即可实现基于目标数据的模型训练以及数据预测,支撑企业AI业务发展。[阿里云]
2022年8月5日
其他

送给云数据库爱好者的一份礼物

!小暑已至,全国逐渐步入盛夏世界上最远的不再只有追赶甲方爸爸需求的路还有从家门到公司的距离T恤是每个夏日感受清凉表达个性的必备之选T恤展示图向右滑动查看更多阳光,草地,椰树
2022年7月18日
其他

全球共有多少MySQL实例在运行?这里有一份数据

10的版本来看,当前5.7版本占比最大,其次为5.6和8.0版本。另外,MariaDB占比14%,更具体的:MySQL
2022年6月15日
其他

云数据库技术行业动态@2022-06-10

MySQL支持MySQL小版本8.0.29。不是什么大的事情,不过可以看到,AWS和Google云的托管型产品对于开源MySQL的支持,基本上保持1~2个月的跟进速度,MySQL官方8.0.29
2022年6月10日
其他

图解MySQL逻辑备份的实现流程

信息并设置事务隔离级别和开启一致性快照,此时所有的支持事务的表(INNODB)数据均来自同一时间点。最后再释放全局读锁,此刻数据库实例可以执行任何操作(正常情况,加全局读锁和释放锁的时间很短)。2.
2022年6月7日
其他

SQL Server 2022公测:全面支持云服务的数据库

group",在AG层面提供了自己的元数据管理、并且包含了需要的一些系统数据库等内容支持了AG参数REQUIRED_SYNCHRONIZED_SECONDARIES_TO_COMMIT的修改在SQL
2022年5月30日
其他

云数据库技术行业动态@5月27日

member:MariaDB一直是一个独特的存在,在中国市场的推广一直都不好,还需要更强的策略在中国市场才有更多机会,采访中提到站点镜像、用户组、Kubernetes
2022年5月27日
其他

50T的数据还能存储在阿里云RDS MySQL中吗?

0、概述随着业务发展和时间积累,业务系统的数据库存储着较大规模的数据,而这些数据访问频率是不同的,通常访问频率高的热数据是少量,比较多的冷数据访问频率并不高,甚至有些冷数据只需要只读。如果这些冷数据都存储在联机事务处理OLTP(On-Line
2022年5月25日
其他

深度解析Google云新数据库产品AlloyDB

storage是针对日志场景专门进行优化的,其模式是,append-only、延迟敏感并直接影响效率,这里的疑问是,做了哪些优化?如果有Google的同学,可以一起讨论一下。参考AlloyDB
2022年5月23日
其他

一张图读懂阿里云数据库架构与选型

阿里云RDS已经发展超过十年,在演进的过程中,其架构和规格已经变得比较复杂,本文尝试通过一张架构图,较为完整的概况RDS所支持的主要的架构类型、规格,帮助开发者从高可用、成本、可靠性等角度选择适合自己业务的RDS类型与规格。01阿里云RDS的架构与规格大图下图从高可用类型、数据可靠性、资源复用率、规格大小、规格代码等角度,较为完整的概况了当前RDS主要的架构与规格:高清大图下载:
2022年5月18日
其他

实测阿里云RDS Serverless

Serverless还是刚刚公测,申请公测资格通过后,可免费创建2个体验实例,最大规格为8*RCU,即约8c16g内存的实例,免费周期3个月,算是不错的羊毛了,具体的,可以通过RDS
2022年5月16日
其他

云数据库技术行业动态@5月13日

:AlloyDB是Google在云原生数据库领域的重要探索,其基于Google分布式文件系统,实现了存储计算分离的架构,提供一写多读的服务能力。通过引入向量化的列加速器及实现了in-memory
2022年5月13日
其他

启用TLS传输加密对数据库性能的影响

随着云数据库的普及,数据库的传输加密也会随之被广泛使用。本文,将使用通用测试来看看,开启TLS传输对数据库的性能有什么样的影响。1.
2022年5月9日
其他

是时候开启数据库的加密传输了

在当下,几乎所有的站点都已经支持了https,那么在使用云数据库的时候是否应该启用TLS加密传输,启用TLS的安全性如何,各家云厂商对TLS支持是怎样的?本文将做一个系统性的介绍。0-0概述构建新的数据库时默认应该开启加密传输(通常是TLS)支持,这会以极小的代价,大大加固云数据库的安全实际场景中,客户端可以根据所处环境决定是否启用加密传输如果客户端参数指定不使用加密传输,那么对性能没有任何影响如果是跨云、跨公网、跨账号等场景,都应该强制使用加密连接自签名CA的证书安全性虽然有瑕疵,但是用于加密传输已经足够了服务端的证书校验通常是不需要的,安全威胁较大的场景才需要使用客户端的证书校验通常也是不需要的,极端安全场景才需要使用启用加密传输,性能损耗约为5%,RT约增加5%事实上,各个数据库厂商,默认都已经推荐开启传输加密了,但是实践中,还是会因为对性能的担忧等原因,关闭了传输加密,这是没有必要的,因为客户端可以根据环境自己决定是否使用传输加密,如果是安全的内网环境,则可以禁用,如果可能是走不安全的网络,则可以启用01数据流动活跃,加密需求凸显数据的跨环境传输已经越来越普遍,如果这个过程中没有加密,则可能导致数据泄露风险。传输加密就是大家通常所说的SSL加密或者TLS加密,与https加密原理类似。02云厂商对TLS加密传输的支持这里以RDS
2022年5月5日
其他

云数据库行业动态@4月29日

second)的扩展能力,为系统压力峰谷明显的应用提供更低的成本。主要场景包括,压力难以预计的系统、多租户的SaaS系统、大型企业内复杂/混合的系统等。当前支持MySQL
2022年4月29日
其他

实测Aurora Serverless v2

Aurora自2014年发布以来,一直是AWS的最核心数据库产品,而Serverless则是这个产品最重要的功能之一了。在2018年08月,Serverless功能刚刚GA,当时做过一次测试。在2020年底的re:Invent上,Andy
2022年4月27日
其他

云数据库行业动态@4月15日

重要更新TiDB发布了6.0.0版本,TiFlash也正式开源。另外,近期注意到北京银行和中国银联都有与TiDB相关的采购,相信这些项目应该是有了重大进展,能够进入这些银行的生产系统,对一个新的数据库来说应该是重大的里程碑,数据库开发者们,加油!Google
2022年4月15日
其他

云数据库产品更新@2022年3月

第四版》的翻译工作,以至于行业动态已经拖了将近三个月没有更新了。那,今天,就一起来看看在2022年的第一个季度各个厂商有什么进展吧(是的,2022年第一个季度就要结束了...)。重点更新Azure
2022年3月25日