拒绝「扼脖子」,Zilliz 打造国产开源基础软件样板
By 超神经
内容概要:2020 年中美贸易摩擦频发,美国对中国的制裁从实物蔓延到了技术领域,降低对国外基础软件的依赖、寻求科技自主的风气盛行,国产基础软件从幕后走到台前,开始发力。
关键词:中美摩擦 科技制裁 基础软件
2020 年 6 月初,随着中美贸易摩擦的加剧,工科神器 MATLAB 数模软件在国内 13 所高校内被禁用。随后又一基础软件、化学神器 ChemOffice 开始严查盗版,一时间国内科研圈人心惶惶。
除学术领域外,产业中从云基础架构到数据库再到操作系统等,对国外基础软件也存在相当广泛的依赖。基础软件被禁用为国内企业敲响了警钟,要想不被「扼脖子」,就要科技自主,创建国产的基础软件。
实际上国内早有企业在研发基础软件,Zilliz 就是其中的一个代表。今天我们有幸邀请到了 Zilliz 合伙人、首席架构师顾钧,和他一起聊聊开源的故事。
从北大到 LF AI,深耕数据服务 16 年
2004 年顾钧从北大计算机科学专业毕业,成为工商银行的生产系统数据库管理员,这开启了顾钧与数据库服务的不解之缘。此后他又先后在 IBM、摩根士丹利、华为等企业任职,负责过多家银行的数据中心、核心数据库维护及优化等业务。
据网上数据统计,银行非常受北大毕业生的偏爱,众多北大学生把银行作为毕业后的理想归宿。同是北大毕业生、同样有丰富银行数据库管理经验的顾钧,却偏要逆行。
2019 年 6 月,顾钧以合伙人和首席架构师的身份加入开源基础软件公司 Zilliz,负责公司的开源基础软件、向量搜索引擎 Milvus。
顾钧在 GAIR 2020 的 AI 源创专场进行分享
工作内容的变化为顾钧接触开源基金会提供了契机,2019 年 12 月,顾钧成为 LF AI 技术咨询委员会的投票成员,在代表 Milvus、帮助 Milvus 成长的同时,帮助 LF AI 扩大外部的影响力。
LF AI 全称 Linux Foundation AI Foundation,是 Linux 基金会旗下面向 AI 领域的顶级基金会,致力于创建可持续发展的开源 AI 生态系统,借助开源技术轻松创建 AI 产品和服务。
LF AI 成员企业列表
Zilliz 与 AT&T、华为等大厂均属于高级会员
以这种方式加入到开源事业中,在数据库工程师出身的顾钧看来,是「始料未及」的。
把开源写进基因的基础软件公司
顾钧所加入的 Zilliz 专注于开发面向 AI 和 IoT 时代的数据科学软件。
在数据科学、AI 等领域,开源本就是一个非常常见的做法。同时,在研发内部项目的过程中,Zilliz 也大量受惠于其他开源项目,因此 Zilliz 拥抱开源理念、融入开源社区,这在顾钧看来是一件「自然而然的事情」。
顾钧与 Zilliz 部分团队成员合照
二排左四为顾钧本人
确定了公司的开源战略后,Zilliz 进行了一系列尝试和努力。
2019 年 12 月 17 日,Zilliz 正式成为 LF AI 基金会的高级成员。
2020 年 1 月 16 日(受新冠疫情影响,LF AI 审批流程延期至 4 月初),经 LF AI 技术委员会投票决定,特征向量相似度搜索引擎 Milvus 正式成为 LF AI 基金会的孵化项目。
4 月 22 日, Zilliz 创始人兼 CEO 星爵当选 LF AI (The Linux Foundation AI 基金会)新一届理事会主席,这是中国代表首次担任国际顶级开源 AI 社区的最高职务。
LF AI 部分现任理事会成员
左一为 理事会主席、Zilliz CEO 星爵
在公司内部大家常常打趣道,Zilliz 为国际开源事业算是做到了出项目、出钱、出人、又出 CEO。
在谈及 Zilliz 后续在开源领域的愿景和规划时,顾钧坦言,Zillliz 是一家开源基础软件公司,我们相信开源是验证需求与拓展开发者的最优解。公司接下来的研发方向依然会围绕数据科学领域布局全球,让世界看到中国的开源项目也能做到国际一流,帮助提升中国公司在全球开源圈的影响力。
首个国产 AI 数据平台向全世界开源
Zilliz 将开源提升到战略层面后,打头阵开源的产品就是基础软件 Milvus。
据 IDC 预测,2018 年到 2025 年之间,全球产生的数据量将会从 33 ZB 增长到 175 ZB,其中超过 80% 的数据都会是处理难度较大的非结构化数据。如何快速高效地处理大规模非结构化数据,成为企业健康发展的关键。
为此,Zilliz 推出了向量搜索引擎 Milvus,从而方便用户对特征向量进行计算和检索,加快非结构化数据的处理进程。
官方公布的 Milvus 整体架构示意图
确定 Milvus 的开源路线后,顾钧和团队做了两项准备工作。
首先他们按照开源的惯例与要求对 Milvus 的源码和文档进行了梳理。接下来他们为 Milvus 寻找合适的国际一流的开源基金会。
在顾钧看来,只有项目自身和外部环境都准备就绪,才有机会让全球开发者了解 Milvus、使用 Milvus,甚至为 Milvus 项目做出贡献。
2019 年 10 月,Milvus 正式在 GitHub 开源。在其开源的 7 个月内,Milvus 就吸引了超过 300 家企业级用户,甲子光年曾这样形容 Milvus 开源后的成绩:即使是在没有付费门槛的开源市场,这个速度依然惊人——目前成立五年、已是中国开源项目样本的新型分布式数据库公司 PingCAP 积累前几百家企业用户用时为两年半。
截止到今年 4 月,Milvus 的下载量已超过 20k,外部贡献者数量约为内部贡献者人数的 4 倍。
贝壳找房、WPS智能写作平台均为Milvus的用户
能取得这些喜人的成绩,在 Milvus 开源负责人顾钧看来,主要得益于团队明确自身能为受众带来的价值,并且量体裁衣,针对开发者和 B 端用户分别采用了不同的引导方式。
一个国产软件,能够进入国际一流的开源基金会,做出在国际市场上首屈一指的优秀开源项目;在拥有行业领先的核心技术时,有勇气有信心向全世界开发者公开自己的源码,Zilliz 的高瞻远瞩的全球发展战略令人钦佩。
看开源年会,听顾钧分享 Milvus 的故事
业内最具影响力的开源年度盛会 2020 中国开源年会(COSCon'20)将于 10 月 24-25 日召开。今年的嘉宾分享将采取线上线下相结合的形式,从人工智能、开源治理、数据技术、教育与公益等 11 个方向,讲述开源向善(Open Source for Good)的主题。
10 月 25 日 16:50-17:30,顾钧将在 COSCon'20 人工智能分会场带来题为《Milvus:构建非结构化数据服务》的分享。
你可以通过访问以下链接,或点击阅读原文进行报名。活动火热进行中,期待你的参与!
报名链接或点击原文阅读:
https://www.bagevent.com/event/6840909
—— 完 ——
扫描二维码,加入讨论群
获得更多优质数据集
了解人工智能落地应用
关注顶会&论文
回复「读者」了解更多
更多精彩内容(点击图片阅读)