对谈 | AI大咖告诉你，有关ChatGPT的一切（上篇）
👆点击“博文视点Broadview”，获取更多书讯
ChatGPT如今已经无人不知无人不晓，相关话题大家也都非常关注。
无论是它给我们工作生活带来的影响和变革、AI生成式产品未来的发展方向，还是为了应对其带来的挑战，深扒其背后的技术，让自己更有竞争力，都是大家所想要了解和关心的内容~~
针对这个话题，博文视点“怎么看”栏目邀请到领域内非常权威的王文广老师和鲍捷老师做客直播间，从ChatGPT产品影响、技术使用及投资前景、个人学习路线等多个角度为我们带来了精彩解读！
王文广：达观数据副总裁，《知识图谱：认知智能理论与实战》作者，“走向未来”公众号主理人。
鲍捷：文因互联董事长和创始人，爱荷华州立大学（Iowa State University）博士，金融知识图谱工作组主席。
以下为部分简单整理的访谈文字稿，由于内容过多，会分为上下两篇发布，也欢迎关注“博文视点Broadview”视频号观看完整直播视频！
Q：两位老师可以具体介绍一下目前的工作，以及和ChatGPT的关系。
鲍捷：其实我们做的工作一直都是在自然语言处理方向上，包括文本生成、知识抽取，特别是在领域就是建模上面。我读博士和博士后一直是做语义网和知识图谱的，当年是属于符号主义学派。
在硕士期间和博士前半段的工作其实是跟这个神经网络有关的。但是等博士毕业的时候，神经网络进入冬天了。所以大家告诉我，神经网络已经没有未来了，不要再搞了。2012年工作的时候，神经网络突然复苏了。我等这一天等了十几年。
过去这几年时间，深度学习的渗透越来越多，一开始也就是LSTM做一些简单的序列的学习。后来，慢慢有了大型的预训练模型BERT，GPT也是我非常关注的一个方向。
所以这两年，我们在领域的知识建模，特别是大规模语料的理解方面做了很多的工作。深度学习的这种神经计算方法，基本上方方面面我们都在跟。
但这次ChatGPT出来之后，确实给了我们非常强烈的感觉。
对我来说，因为当年做知识工程的时候，最大的痛苦就是知识瓶颈。以前用人工来做这种知识的获取非常的困难，包括底层的数据和上面所谓的规则的学习，还有语法的学习。现在我们看到可以基于几个技术进行结合，而不仅仅是大规模的模型。我们看到了一种能够解决这种瓶颈问题的可能性。这也是算是我们在领域里第一次吧，所以非常的兴奋。20年来第一次看到了有这种破局的可能性。
下面我们会全面all in这个方向，打算用一年的时间，把金融领域里面的这种语言模型、文本生成和知识抽取做到最好。
王文广：我现在在达观数据也是一直在做知识图谱、自然语言处理方面的工作。我们公司从创立至今就一直围绕着知识图谱、自然语言处理这方面的技术来提供产品。也服务于像金融、智能制造还有其他一些领域。
我们的产品本身其实就包括了像文档的智能处理、文档写作、知识图谱的构建以及基于知识图谱的各种决策类的分析之类的内容。所以其实是围绕ChatGPT里面各方面的技术我们都有涉及。
我毕业之后就进入百度开始使用深度学习，从12年知识图谱起来之后，我也开始做知识图谱方面的工作，知识图谱跟深度学习的结合也非常紧密。我的书（《知识图谱：认知智能理论与实战》）里面其实也使用了大量的深度学习。虽然书名是知识图谱，但是里面其实有大量的深度学习方面的内容。
ChatGPT里边的底层结构叫transformer，transformer里边的解码器和编码器的详细解析在我书里面其实就都写得非常详细，所以我对这个领域也是非常熟悉的。
ChatGPT出现之后我们当然也是非常兴奋的。我的观点是，人们把这种人工智能的三大范式——符号主义、连接主义、行为主义结合到一起，构建出了一个非常通用的类似ChatGPT这样的产品，这类产品可以成为AGI（也就是通用人工智能）的底座。未来可能就会在这个基础上持续发展跟进，使得它可能越来越接近于我们对通用人工智能这个目标的追求。我相信这也是为什么人工智能领域的每一个跟这个相关的人都在都在讨论这个问题。
Q：两位老师都是领域内极其具有威望的专家，对于ChatGPT这个产品，两位老师肯定再了解不过了，针对ChatGPT给各行各业的人所带来的恐慌，我也想听听两位老师的看法。
王文广：这个我觉得还是能讲很多的。因为ChatGPT出来的时候我是很兴奋的，去年11月30号发布，12月份我就知道这个东西并开始用，一直到现在几乎每天都在用它，这是第一方面。
第二方面，春节回家之后我把跟ChatGPT有关的论文全部看了一遍。最近也一直跟踪各个领域对它的评估。欧美有很多对ChatGPT非常专业的评估。比如说它参加MBA考试通过了，参加美国的药师资格职业考试通过了，参加美国的律师职业资格考试接近通过。还有牛津大学对它的一个全面的数学能力的评估，它可能是比这种数学专业的本科生差那么一点，就相当于它可能比我们整个世界上绝大多数人的数学能力都强。也就说ChatGPT现在所展现的能力是非常强的，而且不是在单个领域方面强，而是通用的。
那么它带来一个什么问题呢？现在有很多比较夸张的说法是它可能会引起新一届的工业革命，是这个工业革命的发端。我的观点是它是AGI（通用人工智能）的一个曙光。
我判断它无法完全取代任何岗位，但是它能够提升几乎任何一个岗位的工作效率。原来需要10个人的工作，有可能变成只需要2个人加一个AI的辅助。这带来的一个问题就是，他会使很多岗位的人数需求减少。这是我觉得他带来的一个必然结果。
那带来另外一个结果就是，会使得大量基于AI创新工作的新的岗位出现。这其实从过往的任何一次工业革命都可以看出来，比如说早些年的珍妮纺纱机取代纺织女工的工作使得纺织的效率极大提升，对纺织工人的需求急剧减少。当时在英国引起了非常大的波动，但是你看几十年过去之后，现在让大家去当纺织工人的话，我觉得没人愿意的。谁愿意回去在那个辛苦的环境里去纺纱，而且那是污染很严重的、对身体是有伤害的环境。
现在也是一样的，就是它能够使我们很多领域出现极大的效率提升，比如说需要重复性工作的那些岗位人数需求可能会减少。那么它带来的另外一个刺激就是，有大量的基于机器人辅助的这种创造性需求的岗位的增加。
我觉得应该从整个社会来说可能是好的。对个人来说，我建议的一点就是我们应该学会如何利用这种机器人工具帮助我们提升效率。然后再去想想在这个场景下，我能做哪些更多有创造性的工作，能够使得我们在这个时机上获得更有利的位置。就是它能够带来非常大的机遇。
当然如果你要抱残守缺，非常抵触这个机器人，跟他不共戴天，那有可能会比较惨，这是我的一个观点。如果你能很好地用它，你会感觉是一个巨大的机遇期。
鲍捷：我是谨慎的兴奋啊！因为总体上来说，文广老师比较幸运，没被冬天打中过，我可能年纪大几岁，是狠狠地被人工智能冬天教训过。所以我有时候想起事情来就比较保守，之前可以说人工智能的每一次的这种吹捧，最后都没能兑现。每一次人工智能冬天来临的前夜，有一个共同的特征，大家开始讨论通用人工智能。而且大家觉得，通用人工智能已经快到了。这次会不会这样不知道，但是历史上是这样的。
我觉得这一次可能真有点不一样，因为我毕竟在这行干20多年了，从来没有哪一次的突破让我感觉到，像今天这样真的狼来了。
比如说，2016年AlphaGo出来的时候我不兴奋，包括之后那些从17年到21年的一系列大语言模型，我都没那么兴奋。2011年，IBM Watson挺强，那时候有点新，但是还是觉得这东西怎么用呢？就是一直想不清楚，一直都不知道怎么落地。再往前看的话，就是98年前后的PageRank，所以说能够起到引导一个行业的算法突破不是每年都会有的。在PageRank之前，就有很多公司都在做搜索引擎，等到谷歌把这套方法都引入之后，以前的搜索引擎公司两三年时间全不行了。那这次也是一样的，凡是做这种语言的公司如果不能跟进的话，两三年之内可能都不行了。这是我感觉这件事情比较有历史性意义的地方。
另一方面，我觉得它给我们带来的启示叫捅破一层窗户纸。它给了一个比特的信息，就是能还是不能。比如核聚变发电，到现在为止还没有完全能实现。就是我们的核聚变的能量q值还没有大于1，但是如果现在有人告诉你不用怀疑，一定能大于1，这是一个比特的信息。只要有人能给你带来一个比特的信息：几年之内核聚变一定能做到。所以我觉得ChatGPT就是给我们带来了一个关于人工智能，尤其是关于我们知识工程这一块的信息。
我们之前最大的问题就在于知识瓶颈，以前我们一直不知道知识瓶颈是不是能够被突破，ChatGPT告诉你“可以的，能！”虽然现在很贵，但是有了这一个比特的信息之后，我相信从不同的角度会有雨后春笋一般的方法论被发现，最终会有万级甚至百万级的成本下降来普及这个事情，就这是它最关键的意义。
所以说它会不会给行业带来冲击，我是这么看，有一个定律：如果一个行业的效率能提升，那么这个行业的人数不会减少，只会增加。这非常符合市场规律的。如果一个行业，你的投资回报率会上升，肯定会有越来越多的资本投进去，所以不管在任何一个行业，只要这个东西能够走的通，那么总的人数肯定会上升。当然他这里面每个具体的岗位的人数会发生变化。一些低端的数据搬运工可能以后就没有工作了，但是又会兴起来新的一大批工人，比如说人工智能调优师。
Q：ChatGPT带来了这么大的影响，它也确实挺厉害，那它是怎么做到这么厉害的，其背后的核心技术想请老师们来和我们解析一下。
鲍捷：刚才在直播开始之前，我们俩就这个问题讨论了蛮久。文广老师认为最关键的是大，我认为最关键的是强。
我觉得它里面核心的几块，一块是大规模语言模型，它提供了一个基础使我们能够尽可能多地去发现这些序列之间可能的组合关系。这就是可能性，按照可能性需要去引导，所以可能性的这个规模就是所谓的大，我们叫它大语言模型。
另外一块就是强化学习，也就是怎么能够把人类偏好引入进去，这里面可能还会有其他一些提示学习或者叫指令学习，以及我们怎么去去设计我们的指令，这种统计之上的弱结构加在这个统计的模型里面，所以再加上强化学习这样一种行为主义的整合，其实是一种很强的能力。
我们过去的所有的这些系统的突破其实都是这么来的。比如说AlphaGo也是这么来的，也是用多种不同方法，之前的IBM Watson其实也是一样的。我觉得这次其实也是一样。你说它到底哪一点更重要，就是大语言模型提供了可能性，还是强化学习的路径提供了他对于人类知识和人类偏好的这种引导能力？我认为它是一个范式，所以我并不认为所谓模型本身的绝对规模是这件事情最本质的特征。
但是我觉得这里面依然还有点核心问题，就是如何把结构化知识和这种人类知识更加有效地、低成本地整合进去，也就是强的一部分。
但是我现在这几个想法还没有做实验，所以我觉得未来去做这件事情的话，我肯定是优先从指令学习，更加强化、更加精简、更大规模地去简化这个模型的角度来做这件事情，因为毕竟不是每一家都能够掏出1,000万美元一次去做这个训练。我相信一定会有把这个模型简化1万倍，10万倍，甚至100万倍的方法。
我之前一直都特别信奉一个理论，叫有多少人工就有多少智能，我现在依然相信这一点，就是所有的知识依然还是在人这边，而不是在机器这边。
那么最关键的是，你怎么能找到一个更加敏捷的、更加的低成本的方式把人类的知识输入到这个系统里面去。我们还用谷歌的PageRank作类比，在PageRank出现之前的时候，搞检索都是用的统计的方法。后来谷歌就想完全用统计方法做文档的效果并不好，看起来总觉得不对劲，哪里不对劲呢？我们需要把人对它的理解做进去啊。怎么做？用PageRank。用这种网页之间的相互关系。其实我相信这一次也是一样的。没有统计模型确实不行，但是真正改变了味道的那个佐料，是把人类知识加进去，是强化学习。
王文广：我认真地去看了相关的一些论文。
虽然OpenAI做出一个很强的ChatGPT，但从论文分析的角度，包括ChatGPT所用的各种技术，其实原创的大多数都是谷歌。谷歌内部的机器资源也比较多，它也有各种各样的模型可以去做分析。
谷歌分析过很多这种相关的东西，谷歌提出来这么一个概念，就是说，模型只有大到一定程度，才会有这些能力。第二个就是有监督学习和强化学习，激活了这些能力。这就得从ChatGPT本身来讲，就是首先它有一个模型叫GPT3，是完全无监督的。在GPT3之上他训练了好几个模型，也是完全无监督的。它加入了5,400万个仓库的代码，其实本质上还是无监督的，无监督完之后，还是GPT3，没有特别强的能力。然后它在某一个时刻，使用了有监督学习，标注了很多语料，这个时候发现，它的能力有了一个极大的提升。有监督学习的能力得到极大提升之后，它又加上了一个东西就是强化学习，就是人类反馈强化学习，使得它能够响应人类的期望。
其实强化学习本身就是你可以不断给它输入输出，再告诉它什么样是你希望的输出，能够根据你期望的输出去对齐。当然，如果你的价值观符合主流价值观，它就会对齐；如果不符合，在不做任何限制的情况，你要对齐出一个反人类的价值观，也是很容易的，因为它本身是无偏向的。当然我们处在人类社会，就会使事情变得有偏向。OpenAI用GPT3做分类算法把不符合人类价值观的这种请求全部拒绝掉，就非常简单。
AI本身其实是没有偏好的，就是人类给什么样的支持，就会产生什么样的偏好。这点我非常同意鲍捷所讲的。
要构建这些东西，除了刚才讲的这些技术之外，其实还有很多额外的东西，比如大规模的语料、无监督的文本、有监督标注的语料。每个人在使用ChatGPT之后给它的各种反馈信息，都会被它学习进去。所有这东西是都使它能力越来越强的基础。
当然在底层还有一个非常关键的点，就是算力的支持。本质上就是把能源变成算力，把算力变成一个真正的服务。2021年，他们有篇文章介绍训练这个模型使用了一万张GPU，28万盒CPU。这是非常庞大的集群，在所有的超算排名里可以排在前五。由微软OpenAI共同构建，需要庞大的算力支持，再加上庞大的知识喂入，以及很强的算法，才组合出来这么一个很牛的东西。
另外我总结了几个定律，发在我的“走向未来”公众号上，大家有兴趣可以去关注。
……
ChatGPT相关图书请戳👇
每日抽奖
发布：刘恩惠
审核：陈歆懿