Apache Pulsar通过可信开源项目评估，探寻Apache Pulsar的开源之路

当前开源项目数量庞大，如何做到开源合规和开源安全是开源项目面临的主要问题，标准化的流程配合工具测试是解决这些问题的有效途径。

10月16日，2020云计算开源产业大会以线上直播的方式隆重开幕，本次会议由中国信息通信研究院主办，云计算标准和开源推进委员会承办，云计算开源产业联盟、金融行业开源技术应用社区支持。

大会隆重发布了2020可信开源项目评估结果：Apache Pulsar社区版开源项目顺利通过由中国信息通信研究院开展的可信开源项目评估，本项评估以《开源项目选型参考框架》标准为依据，考察社区版开源项目的许可证合规性、许可证安全性、项目活跃度、软件成熟度、服务支持力、软件兼容性。

评测单位：中国信息通信研究院

中国信息通信研究院云计算与大数据研究所所长何宝宏博士为Apache Pulsar授牌：

何宝宏博士（左一）为Apache Pulsar（左三）授牌

此次我们采访到了StreamNative 的联合创始人兼 CTO，开源项目 Apache Pulsar 和 Apache BookKeeper 的 PMC 成员和Committer，主要从事分布式消息系统，实时计算和存储相关的开发，曾就职于EMC，先后是VNX统一存储平台和实时处理平台的技术负责人翟佳来一起谈谈本次可信开源项目评估和Apache Pulsar背后的那些事。

Q

Qustions

&

A

Answers

Q

老师您好，请介绍一下您和您的企业，以及此次参与评估的项目。

A：我们公司的名字是 StreamNative；此次支持参与评估的项目是 Apache Pulsar。

公司 StreamNative 成立于2019年1月， 是一家围绕 Apache Pulsar 和 Apache BookKeeper 打造下一代流数据平台的开源基础软件公司，是这两个开源项目背后的商业化公司。公司创始团队成员均是 Apache BookKeeper 和 Apache Pulsar 的核心 PMC 成员。我们秉承 Event Streaming 是大数据的未来基石、开源是基础软件的未来这两个理念，专注于开源生态和社区的构建和云原生产品的开发，致力于前沿技术领域的创新。

Apache Pulsar是云原生分布式消息平台，它在2016年从雅虎开源，并在2018年9月毕业成为Apache基金会的顶级项目。Apace Pulsar从2012年开始设计时就前瞻性地采用了存储计算分离、分层分片的云原生架构，极大减轻了了用户在消息系统中遇到的扩展和运维的困难；并且它采用专门为消息和流专门设计的存储系统，为重要场景 提供了可靠的读写服务质量 和 更强数据一致性的保障。

Q

恭喜贵单位通过可信开源项目评估，您的感受是怎样的？

A：很高兴在社区的共同努力下， Apache Pulsar 顺利通过开源可信软件的评估。这是对 Apache Pulsar 在软件安全性、技术成熟度、软件兼容性、许可证合规性、社区活跃度等方面的肯定。相信可信开源项目的评估，会更加增强用户对 Apache Pulsar 的信赖、更加促进 Apache Pulsar 社区的增长。

Q

可信开源项目是针对社区版开源项目做的评估，可以分享一下开源项目培育过程和社区运营成功之道吗？

A：社区运营是 StreamNative 公司的重要责任之一。成功的开源项目背后，都有一家商业化公司来为社区和用户持续提供核心支持。公司会在服务社区的过程中，不断获得反馈和创新，完善开源产品在各种生产环境的综合表现。

在社区运营面，StreamNative 公司都投入了绝对的精力到 Apache Pulsar 的社区服务和支持之中：贡献和改进 Pulsar 的功能、完善 Puslar 的文档、丰富 Pulsar 的周边生态、帮助 Pulsar 的版本发布和维护、支持社区用户上线 Pulsar，以及组织相关 Pulsar  meetup 等推广宣传活动等。

一个重要的内容是为开发者提供更顺畅的沟通和交流途径。比如我们做了下面的一些工作:

1.在B站上发起了 TGIP(Thank God is Pulsar) 的系列活动，TGIP 就是 Thank Goodness It’s Pulsar 的缩写，灵感来自于谷歌团队的 Thank God It’s Friday，表示工作周快结束了，很快又会有一个欢快的周末。TGIP 主要是为了收集用户关心的 Pulsar 的核心技术点，然后由 Pulsar 的 PMC，committer 等 Pulsar 的核心开发者通过直播+视频回放的形式，向社区持续输出高质量的技术内容。

2. 为了进一步加强社区文化，及时了解 Pulsar 开发者和用户的最近动态，我们每半个月会和社区进行一次技术讨论，主要目的在于了解用户这段时间内使用 Pulsar 中遇到什么问题，以及对于 Pulsar 最近的开发任务，有哪些是社区贡献者想参与进来的。

3. 对于国内外不同的用户群体，分别组建了微信技术交流群和 slack 群组，确保用户遇到的问题能够在第一时间内得到反馈，能够更好的帮助用户了解，使用并最终落地 Pulsar。

Q

通过可信开源项目评估带给企业和团队哪些变化？

A：可信开源项目的评估涉及到代码以外的更多方面，是一次对 Pulsar 社区的更全面的检验。在此次评测过程中，我们严格按照评估要求，对 Pulsar 项目本身进行了一系列的规范检查。对于开发团队而言，平时我们更多的注重是代码层面的质量已经单元测试和集成测试等方面的保障。通过此次可信开源项目的评估，我们在保证代码质量的基础上，更加注重社区技术输出，文档的完善以及社区共同的建设和交互上，更进一步完善了团队和社区的软实力。

Q

在可信开源项目评估过程中的困难与解决办法，可以分享一下吗？

A：在此次评估中，我们遇到的一个安全检查的问题。有很多和 Pulsar 本身代码不相关的安全漏洞被暴露出来。

因为 Apache Pulsar 在 github 上的 repo 是一个较大的仓库，它包含了 Pulsar Functions，Pulsar SQL，Pulsar Flink，Pulsar Spark 和 Pulsar IO 等子 repo。尤其是 Pulsar IO，其中包含了各种外部生态和 Pulsar 交互的适配器。评估过程中使用的安全测评软件依赖层级比较深，导致 Pulsar IO 中依赖的其他生态组件被扫描出来较多的安全漏洞问题。针对此问题，我们和社区一起讨论，最后提出了如下解决方案：

1. 对于少量由 Pulsar 本身直接依赖导致的安全问题，第一时间内对其进行修复。

2. 对于由 Pulsar 间接引入的依赖，如果层级较浅且可回溯，去我们间接引入的开源项目中进行修复并跟踪。

3. 由于 Apache Pulsar 本身仓库太大的问题，我们引入了 PIP-62, 将 Pulsar IO, Pulsar Flink, Pulsar Spark 和 Pulsar SQL 等分离为单独的子repo。确保 Pulsar 本身的主repo更方便管理和维护。

Q

对于开源治理工作的开展，下一步计划有几方面？

A：在开源治理方面，在接下来的工作中，我们会继续强化开源社区的治理，积极发挥社区PMC、Committer 等组织架构优势；确定更加详细的文档、流程，引导用户和社区贡献者更规范的参与到 Pulsar 中来。

加强开源工具的平台建设也是很重要的一方面，我们会强化项目在安全漏洞以及许可证方面的自动化检查，确保 Pulsar 能隔绝不规范不合规的代码。

Q

对于开源治理的未来发展方向，您有何看法？

A：开源技术发展迅速，特别是 Apache Pulsar 所在的云计算、大数据生态领域，开源逐渐成为技术的主流和前沿。

开源治理也是开源项目的重要的一环，优秀的开源治理实践对项目的健康发展有很大帮助。开源治理不仅是使用者的事情，从社区角度来说更需要提供严格的把控。相信在未来随着开源的使用更加广泛，开源治理会更加规范化、标准化，成为开源贡献者和开源使用者的有利助手。

可信开源项目评估介绍及评估报名

可信开源项目评估：评估对象为社区版的开源项目，以《开源项目选型参考框架》标准为依据，重点考察开源项目在许可证合规性、软件安全性、软件活跃度、技术成熟度、服务支持力和软件兼容性六个方面的能力，全面衡量社区版开源项目的健康程度，为开源项目使用方提供选型的参考依据。

《开源项目选型参考框架》框架图

即日起，中国信息通信研究院将启动新一轮可信开源项目评估，现接受可信开源项目评估报名，如有意向参与评估，请与相关人员联系。

联系人：俊哲 [e-mail]

精彩内容推荐