性能碾压MySQL、ClickHouse等，国产开源大数据平台TDengine全面剖析
更多优质内容请关注微信公众号“AI 前线”（ID：ai-front）
近期，IDC 对物联网支出作出预测，2019 年全球物联网支出将达到 7450 亿美元，IDC 报告表明，各行业的物联网解决方案支出占比持续提升，物联网的预期增长仍然很高。物联网的下一章刚刚开始，在 涛思数据 创始人陶建辉看来，未来 5 年内，世界上 90% 的数据都会是物联网采集的数据，于是他们打造了 TDengine。这是一个专为物联网、车联网、工业互联网、IT 运维等设计和优化的大数据平台。除了高性能的核心时序数据库功能，TDengine 还提供缓存、数据订阅、流式计算等功能，旨在最大程度地减少研发和运维的工作量。从 7 月 12 日在 ArchSummit 全球架构师峰会（深圳站）2019 宣布开源至今两周时间，TDengine 开源项目 在 GitHub 上已经收获了超过 6800 个 Star，Fork 数超过 1700，在业内引发热议。
开源地址：https://github.com/taosdata/TDengine
TDengine测试数据和报告详见：https://www.taosdata.com/cn/
InfoQ 记者有幸在 ArchSummit 全球架构师峰会（深圳站）2019 现场采访到了涛思数据创始人陶建辉，听他分享 TDengine 性能做到 Hadoop 十倍背后的技术创新、TDengine 开源的初衷以及未来对 TDengine 商业化推广和开源社区的规划。
陶建辉： 大家好，我叫陶建辉，我是涛思数据的创始人。今天很高兴来到现场与大家互动。我是 86 年考上大学，94 年到美国留学，97 年开始在芝加哥摩托罗拉工作，后来又到了 3Com 公司。我在 2008 年回到北京创业，前面做过两家创业公司，一个叫和信，做的是手机实时消息推送服务，后来这家公司被联发科收购了；13 年我又重新创业，做了一家做智能硬件的公司，叫快乐妈咪，主要是做母婴健康大数据服务平台，这家公司在 16 年年初被太平洋网络收购了。然后我休息了一年。我觉得物联网一定会发展起来，随着数据量越来越大，需要一个新的方式来处理物联网采集的海量数据，这是一个机会。再结合我前面那家创业公司的经验，我觉得我还没老。那时候，我正好 49 岁，我觉得我可以自己做，而且我认为现在大家的处理物联网数据的方法不太合适，我找到了一种更好的创新方法来存储和处理这些物联网数据，因此我就自己一个人写了两个月代码，来证明我的想法是对的。然后我就开始融资、组建团队，涛思数据就是在 17 年 5 月份正式成立的。
陶建辉： 物联网是一个很宽泛的概念，包含了车联网、工业互联网、IT 智能运维监测等，只要通过各种机器设备传感器采集数据，都属于这个范畴。因为我上一家创业公司做的是智能硬件，需要采集各种各样的数据送到云端，做健康数据的分析。后来我又了解了很多物联网项目，包括工业互联网、智能硬件、智能家居等项目，这里面共性的东西实际上就是数据的处理，怎么存储、怎么高效地查询计算和分析。涛思数据这两年多的时间，一直在做的就是这样一件事情。
陶建辉： 我们第一款产品真正可以交给用户使用是在 2018 年 8 月份，从一开始研发到对外推出可用的产品大概花了一年半的时间。
陶建辉： 最大的困难就是技术，技术挑战相当大。我们这款产品看上去很简单，不就是把各种采集的数据存储起来再做查询，实际上因为这属于底层软件，所以它的技术挑战很大。比方说我们经常要做一百亿条记录的插入、查询测试，这一百亿条记录如果中间丢了一条，你要找出丢的是哪一条、为什么丢，涉及的模块很多，技术挑战相当大。
我可以分享一个我们在 TDengine 开发过程中的小故事。因为我自己在做这个产品，它主要强调性能和易用性这两个方面。如果性能不够好，那它就没有代替其他软件的可能，我就举一个性能的例子。有一次我们团队一个工程师，改了一行代码，他改的那行代码还是我写的，大家都没有意识到，这行代码让整个产品的性能下降了一半都不止。整个团队都急死了，花了整整一天时间，回滚代码查看，最后才找出原因并修复了问题。
陶建辉： 虽然 MySQL、ClickHouse 这些是大家更熟悉的开源数据库产品，但我们真正对标的是测试报告上写的 InfluxDB、OpenTSDB，包括阿里的 HiTSDB 等产品，这些才是我们真正对标的产品。但是也不完全公平，因为这些产品只是一个数据库。TDengine 的核心功能也是个数据库，但除了数据库之外，TDengine 还支持很多其他功能，比如说大数据处理所需要的缓存、消息队列、流式计算等一系列功能。我们的性能测试报告针对的是数据库这项功能，因为数据库测试相对标准化，一般看的就是插入速度、查询速度，所以我们基于此做了对比。目前 TDengine 在大数据领域还没有真正完全对标的对象，我们是全球第一个真正做物联网大数据平台的产品。 这也是为什么我们不把自己叫做数据库的原因。
陶建辉： 为什么要做“超融合”呢？目前通用的大数据平台，往往要集成五六个甚至七八个软件，对于研发者来讲挑战很大，因为你不只要学一个软件、掌握一个工具，而是要同时掌握好多个工具。对于企业管理人员来讲，连招人都很困难。而且每个开源软件，你认真细究都会出问题。如果我们把所有这些功能集成在一起，只需要一个软件就能提供所有功能，就能够把开发的难度大大降低。而且因为我们使用的是标准的 SQL 接口，只要学过计算机的人，几乎没有不会用的，因此我们就让研发和维护都变得极其简单，这点改进是非常重要的。同时，TDengine 也有它特别的地方，它只面向物联网行业。它不适合做舆情分析，不适合做用户画像，不适合好多通用的互联网行业应用场景，我们只能做物联网、车联网、工业互联网、运维监测这些场景，比如风力发电、国家电网物联网的建设等。
陶建辉： 数据库插入数据的时候，一般需要先进入消息队列缓存起来。而物联网的数据很特殊，它实际上非常类似消息队列，因为物联网采集的数据是按照时间顺序源源不断发过来的，它本身就是一个队列。第二点，物联网最重要的特点就是要看实时状态，因此我们会把每个设备的数据都直接缓存在内存里一段时间，缓存的时间会根据它采集的时间长度定。而互联网应用的缓存不是由这个决定的，它的缓存是由用户行为决定的，比如说这条微博点击的人特别多，就要一直缓存着。但物联网数据不是这样的，对于物联网数据，大家最关心的是刚采集到的数据，已经过去几个小时或几天的数据，大家都不在乎。因此我们巧妙地利用了这些特点实现了消息队列和缓存。另外还有流式计算，因为物联网数据本身就是流式的，我们能够顺其自然地推出流式计算，当然最后这些数据也要存起来，数据库也要能做历史数据的分析，这都是数据库本来就擅长的。
陶建辉： 主要是我们的数据模型不一样。我们的数据模型要求对每个采集点，或者每个采集设备单独建表。比如说你有一千万个智能电表，它就建一千万张表。单独建表的好处是什么？单独建表之后，每个设备采集的数据在内存里或者硬盘上，就会是一块一块连续存放的。当然，不可能完全无限连续，但可以做到 4K、16K、64K 这样连续。这样一来，读数据的时候就会读完整的一块。因为物联网还有一个特点是从来不关心单个点的值，而更多关心的是整个趋势。因此物联网场景下做查找的时候，往往是查 5 分钟的数据。但 5 分钟的数据又包含很多点，因此我们这种设计，就能够让查询速度大大加快。按照我们的数据模型设计，一次读取可能可以读一千条记录出来，而按照以前的数据库设计，如果要读一千条记录可能就要一千次 IO 操作，一定会慢。
那么写操作为什么我们也能够做到很快？对于物联网设备来讲，我们设计成一个设备一张表以后，每写一张表其实就是一个设备在写。因为物联网的数据，比如说车或者智能电表、智能手环，数据一定是某一个设备产生的，一张表对应的数据生产者是唯一的，同时只会有一个设备在写这个表，从技术上来看就很简单了。另一方面，物联网数据是按时间顺序来的，这就意味着它是一个追加操作，所以写操作自然就很快。
但是我们这种数据模型，也有另外一个问题，那就是表的数量太多了，比如说一千万个智能电表，那就一千万张表。这些表如果只是单独看，那我们这个方法已经足够好了。对单个电表或者单个汽车的数据的插入、查询速度，都不可能有比我们快的。但是如果要做聚合，那就很麻烦。因此，我们还有另外一个很重要的创新，叫超级表。超级表指的是将同一类型的设备看作一个表，每个表可以带标签，比如喜来登酒店 11 楼某个房间的电表，聚合的时候只要统计 11 楼的十几个电表，或者整个喜来登酒店一百个电表，查询起来还是很快的。如果没有这个超级表的创新，我们的产品也不太可能受欢迎。
陶建辉： 我们研发 TDengine 的时候是基于一个假设，那就是任何软件、任何硬件都是不可靠的，也就是说任何软件不可能没有 Bug，任何硬件不可能不出问题。基于这个假设，我们就要做一个多副本的分布式系统，数据都可以丢，硬盘都可以换，甚至我们做到了什么程度呢？我们支持热插拔，硬盘坏了可以当场换，甚至 IDC 机房迁移的过程中，数据库仍然可以继续工作，做到了这种程度。
在可靠性方面，我们主要用到了业内公开的一些 NoSQL 分布式数据库的方法。当然我们也充分利用了物联网数据的特点，才能够做得足够好。我们坚信物联网一定会发展起来，可能不到五年或五年左右的时间，世界上 90% 的数据都会是物联网类型的数据。
陶建辉：TDengine 的优势是高性能而且简单易学，它的安装包只有 1.5MB，从下载到安装成功运行不会超过 5 秒钟，这是现在没有任何大数据软件能做到的。但我们跟现有的大数据产品相比当然也有弱点，我们的产品仅仅开发了两年时间，生态还有待完善，而 InfluxDB 数据采集接口和应用软件的接口已经有很多了，这是我们后面要长期努力的目标。
陶建辉： 我们做的妥协是什么？第一个，刚才我一直强调，我们是专门做物联网的数据，做不了微博的数据，做不了微信、电商的数据，这些都做不了，我们真正做的是物联网、车联网，这是一个。第二个妥协是，从技术的角度来看，我们是采用结构化方法实现的，这意味着开发者需要自己定义表的结构。而像 InfluxDB、OpenTSDB 是不需要定义表的结构的，因为他们都是 NoSQL，不用定义 Schema，开发者爱怎么写数据就怎么写，如果已经习惯了这种做法可能就会觉得 TDengine 不好用。但如果你历来都只是用 MySQL、Oracle 这种结构化数据库，那就没有问题。但结构化的方法在物联网、车联网行业并不是个问题，这是我们在准备开发之前就决定的。因为物联网数据都是由硬件设备采集的，硬件的数据格式是固定的，一般很少改动，除非固件更新，但固件更新的可能性很小。而互联网应用开发则需要频繁迭代和更新，变化太大，所以它用 Schemaless 这种不需要定义结构的方法就是很合适的。但物联网、车联网、工业互联网的数据格式可能一辈子都不更新，所以结构化就不是很大的障碍。
陶建辉： 基础软件切换的成本极其高，最终还是要看这个企业有没有遇到真正的难点和痛点，现在我们付费的客户都是已经遇到了难点和痛点，他觉得非得抛弃眼前已有的大数据平台。那么难点和痛点在哪里？第一，我们有一个做车联网的客户，目前已经拥有 PB 级别的数据，查历史数据几乎读都读不出来，他们现在就用 HBase 层的，他们老板找他，无论怎么搞都要查出来，哪怕几秒钟也行，但问题是几秒钟都查不出来，他非得解决这个问题，就成了我们的客户。还有另外一个客户，他们的数据量已经很大了，他们觉得成本太高了，而我们能够把他们的总拥有成本降到原来的 20% 都不到，比如原来需要十台服务器，现在一台就够了。因为 TDengine 的存储做得很好，以前 10 个 T 的数据，到我们这里变成一个 T 了，那这肯定就要换，因为能省很多钱。还有一类是什么？因为大数据系统，尤其是 Hadoop 这个体系已经深入人心了，但其实它在很多场景下数据量并不大，但是 Hadoop 要做一套私有化部署的时候，可能要装 HDFS、HBase、Kafka 等一系列的东西，这个成本真的高，不是机器的成本，而是安装部署维护的成本极其高。那如果我们能够提供一个统一融合的解决方案，只要一个小软件全部搞定，就能大大简化安装部署维护的难度，那么客户就会有足够的动力来换。同时，对于已经自建大数据平台的企业，我们也会提供一些工具，比如数据迁移的工具，甚至我们会兼容一些现有的接口，对于用户来说接口和以前可能一模一样，只要换个 IP 地址就行了。
陶建辉： 我们试用的客户有好几十家了，而最终买单的客户马上就超过十家，包括车联网、电力、数控机床、智慧城市等不同行业场景的客户。
陶建辉： 应该不算是问题，而是一些需要不断改善的地方。其中一个是我们的流计算做得还不够，比如说我们现在支持简单的滑动窗口，未来需要把它变成事件驱动的流计算，然后我们还要支持用户自定义函数。等我们把用户自定义函数和事件驱动完善后，TDengine 会在物联网领域发挥机器大的作用，数据清洗、规则引擎都可以用一套软件完全搞定，很多工具都不再需要了。
陶建辉： 今天我们就是来宣布 TDengine 开源的，开源是我们的一个推广方式。当然我们确实越需要开源，尤其是要把我们最核心的代码开源出来。就像刚才讲的，为什么 TDengine 能够比其他产品快一二十倍？如果你不相信，你可以去看我们开源的源代码，看完之后你就知道，这个代码保证快。在中国，很多用户都不愿意付费，都希望用开源软件，那我们就开源给你用，这是我们的一个推广方式，我们希望把这个社区经营起来，从而打造品牌、扩大影响力。另外一方面，我们也非常欢迎其他开发者加入进来共同为这个项目做贡献，比如说我们需要各种数据采集接口，开源之后可能就会有人参与进来一起贡献代码。
另外一方面，我们除了开源版之外，还会有企业版。企业版是要收费的，它是一个高可靠可扩容升级的版本，并且会提供专业的一对一服务。我们还有第三个版本就是云服务版本，我们会将这个版本放在阿里云、AWS 等不同的云平台上面，企业可以直接购买我们的服务，按照用量和使用时长来收费。
陶建辉： 我们采用是 AGPL 许可，这个开源许可意味着，只要你使用了我们的开源软件，你也必须开源。
陶建辉： 我们开源的技术一定会尽最大的努力去维护，但我们还有企业版，就像我们的竞争对手，比如说 InfluexDB，我们的模式几乎跟它一模一样，都是有开源版、企业版和云端版。像 MongoDB 也是这样，有企业版、社区版和云端版本。
陶建辉：当然，我们希望跟云厂商采取合作的方式，但你完全免费地拿这个东西在云上提供服务，我们的 AGPL 许可是不允许的。不可能我们整个团队辛辛苦苦开发的代码，直接被你拿去赚钱，这是整个开源社区和云厂商之间最大的问题。比如说 MySQL 这么流行，结果云厂商什么贡献都没做却从 MySQL 赚了很多钱。我们所使用的 AGPL 许可和 MongoDB 搞的服务器端公共许可证（SSPL）都是来解决这个问题的，包括 Redis，最近大家修改开源协议的原因都是为了避免这样的情况发生。
陶建辉： 还没有。但我的信号十分明确，肯定不能让他们免费使用我们的开源代码，他们必须有贡献。等我们的开发者社区和用户群慢慢壮大起来，我相信一定能走到合作的一天。其实开源和云不是天生敌人，而是可以互利互赢的。
陶建辉： 这是下一步整个公司的重心，我们新上线的网站里面会有博客，我们会在 GitHub 上、Twitter 上、微博上、Stackoverflow 上，各种技术论坛与开发者互动，我们也会参加比如像 ArchSummit 架构师峰会这样的开发者大会，我们也会自己组织活动，线上线下一起来推动社区的发展。
陶建辉，涛思数据创始人，1986 年考入中国科大，1994 年到美国印第安纳大学攻读天体物理博士，曾在美国芝加哥 Motorola、3Com 等公司从事 2.5G、3G、WiFi 等无线互联网的研发工作，国际顶尖无线数据专家。2008 年回到北京创办和信，专注移动互联网 IP Push 和 IP 实时消息服务，2010 年和信被台湾联发科收购。2013 年再度创业，创办快乐妈咪，专注母婴智能硬件和母婴健康服务，2016 年初快乐妈咪被太平洋网络收购。2017 年 5 月创办涛思数据，专注时序空间大数据的实时高效的处理（存储、查询、计算等），其产品 TDengine 比其他业内标杆能好 10 倍以上，可广泛运用于物联网、车联网、工业大数据、金融等领域。
今日荐文
点击下方图片即可阅读
独家专访阿里集团副总裁贾扬清：我为什么选择加入阿里巴巴？
有大量的软件工程师有能力利用数据来处理工作，但不知道在工程中如何使用 AI 和机器学习解决问题。什么时候应该使用机器学习算法？什么时候规则引擎是正确的方法？
我们希望通过极客时间的线上干货内容，帮助软件工程师和架构师揭示在工程中应用人工智能 / 机器学习的真实模式、实践和用例。
来自腾讯、美团、一点资讯、eBay 等一线技术专家，亲自操刀，将所遇到的坑和开发实战案例的复盘实战一一剖析，帮助技术人的自我提升。现在有机会申请企业账号，团队一起线上学习，扫描下方二维码立即申请吧！
你也「在看」吗？👇