我们希望帮助更多 AI demo 变成可落地的应用！| 对话 BentoML 亚太区负责人刘聪【掘金人物：AI进化论】
刘聪：BentoML 是一家在海外专注于 AI 应用的开发者平台，帮助我们的开源客户和企业用户来拓展开发以及部署 AI 应用。我们在海外已经做了一些时间，在海外也有一些很好的社区用户。现在，我主要负责 BentoML 在国内以及亚太区的一些业务。
Q1：BentoML 最开始的愿景是什么？
刘聪：BentoML 的创始人和 CEO 是第三位华人工程师，他当时其实是 ML flow 的第一个兼职 PM。在2014年、2015年的时候，在美国服务了很多大的科技公司，比如说像 Capital One、 Riot Games，他就发现这些稍微大一点的公司，它有一个二十人到三十人的数据和机器学习团队。在当时，很难把机器学习用到生产环境当中，他当时其实就是看到了一个机会，这么大的公司都需要人来帮助落地机器学习，那么这些中腰部的公司，更需要这样的一个服务商或说公司来帮助他们。所以他当时就从 Databricks 出来，做了 BentoML 这个公司。
Q2：加入 BentoML 的原因是什么？
刘聪：我加入其实比较靠后了，我是去年九月份加入的公司，最开始我们的 CEO 主要还是专注于美国市场或者说海外市场。我简单介绍一下我之前的工作经历，我之前是在 Cloudflare，帮助 Cloudflare 负责国内的百度云、京东云等的合作，以及国内销售办公室的搭建。所以说我对大中华区、亚太区域这一块业务还是比较熟悉。因为去年，其实 BentoML 在海外的发展，已经相对比较不错了，准备在亚太区做一些拓展，所以我在去年九月份加入了公司。
Q3：加入 BentoML 后有没有哪些比较印象深刻的挑战？
刘聪：我可以简单借着公司的发展来回答这个问题。在最开始，我们的CEO 超予他其实是想做一个闭源的多云在海外。他当时刚出来，其实算青年创业者，尤其是在湾区算华人的青年创业者，他去卖一个闭源的 SaaS 的话，就遇到了一些挑战，尤其是去卖一些相对传统的客户，很难让公司的高层来相信你一个两三个人的创业团队，而且还是华人的创业团队。所以他们当时做了半年左右，就去把他们当时想要做的一个闭源 SaaS 的其中一部分开源了。
从开源的角度来说，首先我们的代码都在 GitHub 上，整个代码的可控性就会更高；从一个信任的角度来说的话，也会让更多的大公司可以相信 BentoML 的技术，相信 BentoML 团队。确保说即便这个团队不在了或者后面公司出现了什么问题，还是可以继续用你的开源框架来服务公司内部的一些场景。我觉得这个其实是当时没有想到的一个挑战，但后面用开源的方式做了一个方向性的调整。从现在来看的话，也是一个比较正确的选择。我们这个行业从事者，大家对于开源项目的接受程度都会更高一些。
Q4：如何看待创业公司在职能重叠上的问题和挑战？
刘聪：从我们角度来说，因为我们最开始做的时候，它其实是一个业内的相对非共识的事，我们做模型上线、模型部署这一块儿，不管是在传统机器学习还是新一波生成式 AI 上，我们有足够的积累。现在大家慢慢对模型上线、模型部署开始有共识了，对于我们来说正好是一个爆发点，我们之前积累的技术和知识都可以在这方面用起来。另外一个好处是说越来越多的公司不管是从上游、从下游进来，可以把生态变得更大更好，也有更多的用户去关注。那其实对于我们来说，不会是一个挑战，反而是一个机会。
Q5：如何看待新兴技术的再次涌现？
刘聪：从 BentoML 角度来说，这一波生成式 AI 和之前的传统机器学习相比较，我们看到的趋势是大家慢慢有更多的共识，尤其从管理层的角度来说，他更愿意去投入资源来去做一些尝试。根据我们之前的经验，其实在传统机器学习的那一块是比较难收到钱的，因为传统机器学习最开始的一块需要你去清理数据、准备数据，然后真正到模型上线、模型部署剩下的预算就很少了。
但生成式 AI ，它只是需要把大模型部署到生产环境中，或者是他通过大模型的能力去建立一个 demo 或者是建立一个内部的演示。这样从管理层的角度来说，会更愿意去花一些资源，不管是人力上还是财力上，来支持这一个项目。如果说在内部取得反响好的话，正好是我们进入的点，可以帮助他把这个 demo 变成一个落地的应用。相当于不管是公司还是个人，都更愿意接受这个产品的涌现。
Q6：目前有哪些产品让人感觉眼前一亮？
刘聪：我对 Stable Diffusion 文生图这一块可能会更感兴趣一些，根据用户的描述来生成图片。从我个人理解来看，大语言模型这种对话式的交互能力还是相对比较基础的，它其实是一个锦上添花的事，比如说我花时间，用一个人脑或人力是可以去做文章的总结，去做 Meeting Notes 的提取。但是从一个文生图的角度来说，因为我不是美术专业，即便再怎么样花时间精力，还是很难去完成绘画或者是这种艺术的创作。
Stable Diffusion 这种通过文字描述去产生艺术作品，我觉得对于我来说的话吸引力更大。而且 Stable Diffusion 是开源的，你可以把 Stable Diffusion 通过 BentoML 部署到你个人的环境，或者你可以通过 Midjourney discord 的社群去产生相应的图片。这对于我一个没有绘画积累，但想要去做一些艺术创作的人来说是更感兴趣的。
Q7：对于生成式内容的安全性相关问题有什么思考？
刘聪：我觉得从一个数据收集的角度来说，针对我之前的工作经历以及其他的互联网行业，尤其是谷歌、Facebook这种大的社交网络，或者是UGC的社群，它并不是一个新的问题。其实在海外有很多法律法规已经规定了哪些信息可以收集，哪些信息不能收集，哪些信息可以离开某一个区域，哪些信息必须留在哪一个区域。
生成式 AI 这一波比较新的一些问题是，首先你去怎么样 safeguard 你产生的内容，比如说从文字生成的角度，有各种各样的过滤方式，也有一些 safeguard、RLHF 的相关手段来帮助你去过滤以及限制生成式的结果。从文生图的角度来说，它其实有 ControlNet 等各种各样的技术、非技术手段，来确保你生成的图片是合法合规的。这个的话其实是新的一方面，但是也已经有很多技术、非技术手段可以达成了，只是从成本的角度来说它是不是合理。
从法律法规的角度来说，你产生的图片版权、文字的小说版权问题，这个也已经有相关的法律法规制定者在研究。一个简单的例子就是，Adobe 的生成式 AI 套件是做了一个版权保证，所有通过它 Adobe 套件产生的的图片如果产生版权问题的话，Adobe 都会有法务去帮你处理。所以我觉得这个还是需要的，首先是法律法规的制定者以及像 Adobe 这种比较大型的公司可以率先垂范，做一些尝试。
Q8：AI 生成代码会取代程序员的工作么？
刘聪：不管是 To C 还是 To B，现在的生成式 AI 还是有真人在工作流里面做一些调整之后，才会更放心的使用的一个状态。从代码生成的角度来说，大模型的能力是相对比较强壮的，尤其是生成前端代码。但是这个问题就在于，你生成的代码只其中的一部分，作为一个程序员，你所有的运行环境、你的依赖怎么部署到生产环境中，这个是大模型没有办法解决的。所以我觉得大模型会提高程序员的工作效率，但真正能不能取代程序员，按照现在的能力来说可能还没有到达那一步，具体的落地实施还是需要人的智慧在其中去做一些工作和努力。
Q9：这一波技术的涌现会影响到近期的日常生活么？
刘聪：日常生活我觉得可能不太会是近期，近期我更看脑力创作者可以利用新一波的生成式 AI 提高他的工作效率，我觉得这是一个相对比较现实或者说比较可以在短期内达到的结果。
Q10：通用性人工智能还要跨越多少障碍才能到来？
刘聪：我觉得所谓的 AGI 通用人工智能其实还是会相对离的比较远一些，首先就是 Transformer 这个架构是不是真正可以帮助我们到达那一步是未知的，我觉得更令人激动的是会有更多的多模态能力涌现来帮助我们达到那一步，但是真正可以达到我们定义的 AGI 的那一步可能还有五年左右的路程。
Q11：如何看待 AI 落地困难、商业化困难的的问题？
刘聪：落地难可以分几个层次来理解这个问题。第一，相对基础的大模型能力应用到工作流的步骤中，这个是一个比较能达到的目标。那后面有稍微复杂一些的能力，就是所谓的 AI Agent 相关的一些自规划能力，基础模型的能力是不是可以达标是不确定的。
其次，你要达成某一个 task 的话，所消耗的算力是不是在可接受的范围内。举个例子，我自己订机票可能需要花二十分钟的时间，但是一分钱的成本都不用花。如果用 GPT4 的 API 去订机票，用所谓的 AI Agent 自规划能力订一个机票，你可能只需要两三分钟的对话，但是它探索之后，你可能是需要花八到十美金才能完成，那你是不是可以接受这个成本。
我觉得这个就是从落地的角度来说，现在的推理成本可能还是稍微有些高，尤其是GPU的算力可能现在更是一个突出的问题。从长远的角度来说的话，我觉得 GPU 的花费肯定是会不断地降低。然后从 BentoML 角度来说，我们也是希望可以通过我们的努力把部署上线以及推理的成本降下去，帮助更多的用户和客户在他们的生产环境中落地相关的能力。
Q12：对于 AI 未来的趋势和发展有没有一些想法？
刘聪：我还是看好这一波生成式 AI 的爆发的，但是我觉得现在从海外和国内的创投环境以及科技环境看来，基本上已经处于一个比较冷静的状态。我觉得这个其实是一个好的事情，可以让更多的创业者和公司沉淀下来去思考后面的发展路径。然后，我觉得从后面的发展情况来说，肯定会有更多的用例和场景是可以落地的，尤其是后面算力和推理成本不断下降的趋势。从一个相对通用的 AGI 角度来说，我还是比较期待这个事情的发生，尤其是看好多模态相关的一些结合。
我们国内中文大模型的能力是不断在追赶海外厂商的，但是在相关的一些比如说多模态的能力、AI Agent 规划推理的能力上可能还是有一些欠缺，尤其是大规模部署，我觉得海外像 OpenAI 这种公司它会有更多的实践经验。国内的工程师去追赶这一块的话，只要后面模型能力上去，是相对比较好追上的。从前沿研究的角度来说，也差的稍微多一些，但是国内的学者，尤其是在海外有很多优秀的华人学者，我觉得这个是可以互通有无，慢慢追上的。其实我们的人才储备等等这些方面是有很大的优势的，但是在实际应用过程中可能确实还有很多困难要克服。
稀土掘金创新论坛文字回顾
卓越算力引领新一代数据中心和 AI 技术｜稀土掘金创新论坛回顾