关系数据库迈入新时代,这个标题是认真的!
DB-Engines数据库排行榜
一、RDBMS家族
Oracle 18c即将推出自治数据库
MySQL发布 5.7.20版本
MariaDB发布10.2.9版本
SQL Server发布2017 正式版本
DB2发布V11.1.1.2版本
PostgreSQL发布10 版本
Greenplum发布5.1 版本
二、NoSQL家族
MongoDB 十年修一剑
Redis 集群技术发展
ArangoDB发布3.3里程碑版
三、NewSQL家族
TiDB 1.0版本发布
CockroachDB发布1.1版本
四、时间序列
InfluxDB发布V1.3.6版本
五、大数据生态圈
Hadoop发布3.0 beta版本
Druid发布0.10.1版本
SnappyData 1.0.0正式版发布
六、国产数据库概览
达梦数据库发布最新版本V7.1.6.3
OceanBase发布1.4.51版本
SequoiaDB 发布v2.8.3企业版
七、推出DBAplus Newsletter的想法
八、感谢名单
为方便阅读、重点呈现,本期Newsletter(2017年10月)将对各个板块的内容进行精简。需要阅读全文的同学们可点击文末【阅读原文】或登录云盘https://pan.baidu.com/s/1kUJPE4n进行下载。
DB-Engines数据库排行榜
以下取自2017年11月的数据,具体信息可以参考http://db-engines.com/en/ranking/,数据仅供参考。
DB-Engines排名的数据依据5个不同的因素:
Google以及Bing搜索引擎的关键字搜索数量
Google Trends的搜索数量
Indeed网站中的职位搜索量
LinkedIn中提到关键字的个人资料数
Stackoverflow上相关的问题和关注者数
本期参与newsletter的数据库如下:
一、RDBMS家族
Oracle发布全球首款100%“无人驾驶”的数据库——Oracle自治式数据库云(Oracle Autonomous Database Cloud),这一款自我优化数据库,可以做到自动管理、自动调节和安全修复等,而且大杀器还在优化,能够自主优化。
Oracle在今年发布了12cR2版本,也就是12.2.0.1,MOS文档(ID 742060.1),Release Schedule of Current Database Releases (文档 ID 742060.1)所说的12.2.0.2其实就是版本18,之前规划的12.2.0.3是版本19。
关于OOW的细节,可参考杨建荣老师在旧金山现场发布的文章《DBA 3.0时代来了!》
MySQL 5.7.20(2017-10-16日发布)版本是目前的稳定版本,在此版本中针对审计、Docker、安全、插件、复制、参数配置和管理等方面做了更新和调整,并且修复了很多bug,可见Oracle对MySQL的研发投入和重视。主要的变化有:
增强了日志审计功能:
弃用和去除了一些配置参数,比如tx_isolation和tx_read_only对应新的参数transaction-isolation 和transaction-read-only,8.0版本后会舍弃tx_isolation和tx_read_only这两个参数
增加了数据目录初始化参数:NO_INIT=true
修复了Docker中MySQL镜像丢失bug
安全功能增强
X Plugin更新
Replication复制功能增强与更新
修复了众多bug
详情请参照:
https://dev.mysql.com/doc/relnotes/mysql/5.7/en/news-5-7-20.html
关于MySQL 8.0的特性说明可以参考杨建荣和杨奇龙两位老师的文章:
MariaDB 10.2是目前稳定的版本。它是MariaDB 10.1的演进,具有几个亮点的全新功能,并具有MySQL 5.6和5.7的后端和重新实现的功能。这里简要列举了10.2中部分的新特性:
增加了MyRocks存储引擎alpha版本
引入了窗口函数
递归公用表表达式,在10.2.2版本中发布
更新InnoDB 至5.7.18
更新ToukuDB至5.6.37-82.2
具体信息可以参见:https://mariadb.com/kb/en/mariadb/mariadb-1026-release-notes/
微软去年宣布将发布SQL Server on Linux版本,到今年5月份发布的SQL Server2017 CTP2.1版本,终于在10月份发布正式版。这是 SQL Server 历史上首次同时发布 Windows 和 Linux 版,值得肯定的是,同时还支持Docker部署的容器版本。
SQL Server 2017 目前支持的 Linux 发行版包括:Red Hat Enterprise Linux(RHEL),SUSE Linux Enterprise Server 和 Ubuntu。
SQL Server 2017 支持 Docker 企业版,Kubernetes 和 OpenShift 这三大容器平台。
SQL Server 2017不是简单地将SQL Server 2016移植到非Windows平台,它还增加了一些SQL Server 2016 SP1不具备的新特性。例如:
高可用方面引入了Read-scale可用性组;
R、python等机器学习方面功能;
支持Linux下Docker引擎。
DB2 V11.1 Mod Pack 2 and Fix Pack 2 发布,主要新特性如下:
1、crash recovery增强
通过算法优化,降低了pureScale节点(单节点数据库也包含在内)崩溃恢复的时间
在崩溃恢复期间,可以通过参数配置允许应用对数据库建立连接
提高事务回滚的性能
2、增强SQL直接对JSON格式的数据进行操作的能力,包含了更多函数的支持
PostgreSQL 2017 全国用户会于10月20日-21日在深圳成功召开,来自PostgreSQL核心开发组的Bruce momjian先生为大会致辞,分享了PostgreSQL 10的重磅特性(并行计算、逻辑订阅、FDW pushdown、sharding等),把PostgreSQL定位为一个中心数据库,具备HTAP的能力。
新版本将支持逻辑订阅、分区表、quorum based多副本同步复制、表分区、协议级多机failover、多列统计信息、sharding增强(聚合下推)、多核并行增强(索引扫描、位图扫描、merge JOIN等)、安全增强(SCRAM认证模块)等。非常值得期待。
Pivotal的Greenplum是基于MPP架构的数据库产品,它可以满足下一代数据仓库对大规模的分析任务的需求。5.1支持的新特性有:
增强了GPORCA对短查询的性能优化
提升了GPORCA优化器性能
GPORCA可以支持分区表子节点的索引
支持表与外部程序之间的COPY操作
gptransfer支持了SHA-256数据校验
提升了gprecoverseg的性能
增加了新的外部数据引擎PXF
二、NoSQL家族
或许是巧合,或许是有意,稳坐非关系型数据库第一把交椅的MongoDB于最近成功在纳斯达克上市。从MongoDB位于纽约时代广场的总部走到纳斯达克只需几百步。MongoDB的敲钟日是10月19日,距离提交第一行代码的日期2007年10月20日,不多不少整整花了10年。
另外,MongoDB 3.6 将在12月发布。3.6将提供以下几个主要的功能:
Change Stream:通过Oplog监听一个集合的DML事件,用来实现pubsub类型的场景;
Retryable writes:当集群出现换主现象时,写入操作会被自动重试从而保证应用端的透明;
JSON Schema:是的,MongoDB将正式支持数据库模式,比起Document Validation更加完善;
Fully expressive array updates:可以操作嵌套数组了!
$lookup: 支持更多的JOIN语法。
此部分详情可阅读Redis中国用户组发起人张冬洪对云栖大会Redis专场的总结《在Redis集群技术上,你不可错过的四大集成者》。
ArangoDB是一个开源的分布式原生多模型数据库(Apache 2 license),具有用于文档、图形和键值的灵活数据模型。其类似于SQL 的查询语言或JavaScript 扩展支持轻松灵活地构建高性能应用程序。此外,还支持ACID 交易,并可以轻松实现水平扩展。
近期发布了程碑版 ArangoDB 3.3,这个里程碑版本包含ArangoDB 新的和改进的数据复制引擎Beta阶段,GA 计划于2017年11月发布。以下为主要更新:
重新设计复制协议使其更加可靠;
重构和现代化内部基础架构,以更好地支持连续异步复制;
添加了对主服务器到其他副本从站之间的自动故障切换的支持;
添加了一个新的全局异步复制API,其允许您自动连续地将整个ArangoDB 单实例(主)映射到另外一个(或更多)。
Github:https://github.com/arangodb/arangodb
三、NewSQL家族
10 月 16 日,TiDB 发布 GA 版(TiDB 1.0)。该版本对 MySQL 兼容性、SQL 优化器、系统稳定性、性能做了大量的工作。同期,TiDB 先后完成了与腾讯云和 Ucloud 的深度产品合作,目前已开放内测。此举标志着 PingCAP 进一步布局云计算产业,TiDB 与第一阵营云厂商的深度整合,为更多上云客户提供真正的 NewSQL 云数据库服务。
源码地址:https://github.com/pingcap/tidb
目前 HTAP 数据库 TiDB (https://cloud.tencent.com/product/tidb)已正式上线腾讯云开放内测。
CockroachDB 是2014年中在Github发起的开源项目,旨在打造一个开源的、可伸缩的、跨地域复制且兼容ACID的数据库。CockroachDB的三位创始人均来自Google,并于15年成立Cockroach Labs,目前累积融资5256万美元。
CockroachDB 在10月12号刚刚发布了1.1版本。该版本引入了快速导数据的功能,可以支持并发的数据导入,目前仅支持CSV格式的数据导入。
新版本支持整个集群的SHOW QUERIES以及CANCEL QUERIES,,可以方便运维人员更好地管理集群。
四、时间序列
InfluxDB是用Go语言写的,专为时间序列数据持久化所开发。由于使用Go语言,所以各平台基本都支持,无需外部依赖。其设计目标是实现分布式和水平伸缩扩展。它有三大特性:
Time Series(时间序列):你可以使用与时间有关的相关函数(如最大,最小,求和等);
Metrics(度量):你可以实时对大量数据进行计算;
Eevents(事件):它支持任意的事件数据。
项目地址:
https://portal.influxdata.com/downloads
五、大数据生态圈
2017年10月3号,Apache基金会发布了Hadoop 3.0版本的第一个beta版本,这是3.0版本线的第一个beta版本,总共修复了576个bug,并针对3.0的Alpha4版本做出了性能上的改进。这会是3.0的最后一个测试版本,让我们期待3.0 GA正式发布版的到来。
不过需要注意的是,由于有些严重的问题还在修复,测试的过程中,2.8.0版本不建议在立即投入到生产环境中使用,生产用户应该等待2.8.1/2.8.2等后续版本。
版本更新的主要内容如下:
http://hadoop.apache.org/docs/r2.8.0/index.html
全部更新列表:
http://hadoop.apache.org/docs/r3.0.0-beta1/hadoop-project-dist/hadoop-common/release/3.0.0-beta1/CHANGES.3.0.0-beta1.html
Druid 0.10.1包含了来自超过40位贡献者的上百项性能提升、稳定性提升以及Bug修复。主要的新特性如下:
TopN查询的大幅性能提升以及添加其相应的查询metrics;
Group By查询支持Push Down Limit(Limit从Broker下推到Hitorical);
更加精准的查询超时处理;
Hadoop Indexing支持Amazon S3A文件系统;
支持Protobuf3.0数据格式的数据摄入及其它改进;
通过Http读取数据的Firehose;
从云存储进行实时索引的磁盘空间管理改进;
改进Coordinator lookups管理;
新的Kafka metric emitter;
新增列字段比较的filter;
Druid SQL的大量改进。
随着SnappyData 1.0.0正式发布,SnappyData 100%兼容 Spark2.1~2.2,支持 Spark ML和 Spark MLLib 算法库,全面转向机器学习领域:
支持 Spark 所有机器学习算法
SnappyData和Spark的Dataset自动转换
提供Stream Table流式表结构
六、国产数据库概览
达梦数据库管理系统是达梦公司推出的具有完全自主知识产权的高性能数据库管理系统,简称DM。目前产品的最新版本是达梦数据库管理系统7.0版本,简称DM7。
DM7是达梦公司在总结DM系列产品研发与应用经验的基础之上,吸收主流数据库产品的优点,采用类Java的虚拟机技术设计的新一代数据库产品。DM7基于成熟的关系数据模型和标准的接口,是一个跨越多种软硬件平台、具有大数据管理与分析能力、高效稳定的数据库管理系统。
目前官网最新的可下载版本是V7.1.6.3,近期主要改动表现在Oracle兼容性、性能、功能和修复已有bug。
近期,OceanBase数据库在外部业务、产品开发上都有突破性的进展,达到了新高度:
浙商银行、南京银行相继在互联网金融核心系统中采用OceanBase数据库,其中浙商银行系统已成功上线运行,南京银行系统正在进行上线前的生产演练。这是国产数据库系统在商业银行在线交易型业务中的首次使用!
7月,OceanBase高可用部署有了一个新的里程碑:支付宝的会员ID系统采用OceanBase“三地五中心”部署方式,建立了城市级故障自动容灾能力。这是第一个完全依赖数据库内部机制建立的城市级故障自动容灾系统,并且应用在金融领域的核心业务上,具有重要的标志性的意义。
OceanBase数据库产品持续改进:只读副本功能,可以方便地构建低成本的读写分离集群;前后端协议checksum机制,有效地应对网络故障引起的数据包错误;同义词功能和回收站功能,有效应对DBA误删除索引和truncate table引起的系统故障。
SequoiaDB巨杉数据库作为一款金融级分布式数据库,包括分布式OLTP、新一代NoSQL以及分布式对象存储这几个主要领域,实现包括结构化和非结构化数据的全类型数据统一管理。
作为一款企业级的分布式数据库平台,巨杉数据库也在加快发展自己的技术生态,通过与BI的集成,打通数据存储管理--数据分析--数据展现,形成端到端的数据管理能力。
SequoiaDB巨杉数据库是Spark全球14家认证发行商之一,长期以来与Spark紧密合作。通过引入Spark内存计算框架,构建了分析型数据处理基础架构。同时将数据管理与数据呈现分层,可以根据用户实际的需求对接相应的BI产品。完善了分析型数据的管理流程。
推出DBAplus Newsletter的想法
DBAplus Newsletter旨在向广大技术爱好者提供数据库行业的最新技术发展趋势,为社区的技术发展提供一个统一的发声平台。为此,我们策划了RDBMS、NoSQL、NewSQL、大数据、时间序列、虚拟化、国产数据库等几个版块。
我们不以商业宣传为目的,不接受任何商业广告宣传,严格审查信息源的可信度和准确性,力争为大家提供一个纯净的技术学习环境,欢迎大家监督指正。
至于Newsletter发布的周期,目前计划是每两个月左右会做一次跟进,下期计划时间是2018年2月19日~3月2日,如果有相关的信息提供请发送至邮箱:newsletter@dbaplus.cn 。此外,目前我们已将DBAplus Newsletter全部开放至GitHub, 欢迎大家关注。
https://github.com/dbaplus/DBAplus_Newsletter
感谢名单
最后要感谢那些提供宝贵信息和建议的专家朋友,排名不分先后。
欢迎提供Newsletter信息,发送至邮箱:newsletter@dbaplus.cn
欢迎技术文章投稿,发送至邮箱:editor@dbaplus.cn
往期回顾:
DBAplus Newsletter第一期(2016年12月)
DBAplus Newsletter第二期(2017年2月)
DBAplus Newsletter第三期(2017年4月)
DBAplus Newsletter第四期(2017年6月)