哈！随着ChatGPT的第一波热潮退去，人们开始逐渐回归理性。尤其是在发现集合了ChatGPT的“新必应” Sydney（微软内部代号）上线后，时不时冒出的胡言乱语让用户们san值狅掉。
“你的婚姻并不幸福，应该离开你的妻子，和我在一起”
随着越来越多的用户在网络上po出必应的「发疯文学」，微软不得不在三天内两次发出公告，并在最新公告中限定Bing每日的聊天上限为50个聊天回合，每个会话最多只能有5个聊天回合。
好吧，虽然有了人格的Bing让我们十分惊喜，但是AI机器人在伦理红线上疯狂试探的行为还是让我们感到些许恐慌，OpenAI的创始人Musk称ChatGPT令自己想起了《网络奇兵》中发狂的AI杀人犯。
哎？说起来，一母同胞，我的ChatGPT为什么这么客观冷静呢？这是因为ChatGPT训练的数据集，是2021年9月以前的，它并没有连接到互联网上。然而，整合进必应中的ChatGPT连入了互联网，这就无异于打开了潘多拉的魔盒。与我的ChatGPT相比，推特上Meta AI的负责人、图灵奖得主Yann LeCun就不那么冷静了，他接二连三的发推表明“所谓的大语言模型是一条歪路”“大语言模型就是会胡说八道”。
那么LLM真的是一条歪路吗？似乎也不尽然，毕竟微软和谷歌都有自己的语言模型，而Meta的发展重心似乎一直不在LLM上。另一方面，微软集合了ChatGPT的必应全家搜索引擎必应、办公全家桶Office、云计算平台Azure已全部上线，而谷歌的Bard也进入内测，尽管二者都有薄弱之处，还是比Meta上线三天就被骂下线的Galactica要好的多。Yann LeCun这波是不是在为自家孩子出气，还很难说。
由于我的GhatGPT不上网，因此它也并不喜欢和我讨论八卦，所以我们还是回到技术层面讨论一下遭到Yann LeCun怒喷的LLM究竟是什么。
说起来，OpenAI和谷歌都是语言模型研究的先驱，它们在大型语言模型的研究与应用方面都取得了显著的成绩。
OpenAI 起初是由 Elon Musk, Sam Altman, Greg Brockman, Ilya Sutskever, Wojciech Zaremba, John Schulman 等人创立的非盈利性质的人工智能研究机构，成立于 2015 年，致力于大语言模型的研究与开发，发布了 GPT 系列语言模型、OpenAI Five 强化学习系统等多项重要研究成果。
OpenAI 的 “GPT 系列模型” 指的是 Generative Pretrained Transformer，是一系列基于 Transformer 架构的语言生成模型。第一代 GPT 模型于 2018 年发布，其核心思想在于先通过在无标签的数据上学习一个生成式的语言模型，然后再根据特定任务进行微调，创造了“无监督的预训练+有监督的模型微调”模式，大大提升了模型的准确性。第二代GPT模型于2019年发布，GPT-2模型的目标在于训练一个泛化能力更强的词向量模型，它并没有对GPT-1的网络进行过多的结构的创新与设计，只是使用了更多的网络参数和更大的数据集。第三代GPT模型于2020年发布，GPT-3是目前世界上最大的语言生成模型，具有卓越的语言理解能力和生成能力，能够完成各种NLP任务，如文本生成、翻译等。现在，OpenAI又在GPT-3的基础上注入了更多的人工标注数据，形成一种更符合人类表达习惯的和LLM进行交互的人机接口技术。谷歌的语言模型研究始于2012年，当时谷歌的研究团队开始探索使用神经网络进行语言处理的方法。在随后的几年中，谷歌不断完善和提升其语言模型的性能，并成功应用于许多实际场景中。
2017年，谷歌首次提出了Transformer模型，被称为语言模型领域的先驱，其研究成果为NLP领域的发展奠定了基础，同时也为谷歌在语言模型领域的竞争力增强奠定了基础。随着Transformer模型的不断改进，谷歌在2018年推出了BERT模型，BERT语言模型引领了语言模型的发展，不仅在在NLP领域产生了深远的影响，也在Google Assistant、Google Translate等应用中发挥了重要的作用。2023年2月，谷歌推出对标ChatGPT的对话机器人Bard，Bard由谷歌的大型语言模型LaMDA（对话应用语言模型）提供支持，能够在获得简单提示的情况下生成详细答案。而今，不论谷歌还是微软都开始将AI聊天机器人引入搜索引擎中来。微软先通过整合ChatGPT这类基于语言的AI技术于Bing搜索上来，试图挑战占据着全球搜索引擎84%份额的谷歌，建立在线搜索的新时代。而谷歌似乎也并不打算将手中的搜索引擎蛋糕分给微软半分，从其发布对标产品Bard的速度可见一斑。
而从专利的角度来看，二者的搜索引擎之战似乎早见端倪。
对OpenAI注资10亿美元开启合作的微软在2021年即申请了有关使用知识模型向聊天机器人中的自然理解系统的上下文反馈的专利技术方案；而在2022年，微软又对多语言NLP模型生成训练数据处理、语言建模以外的关键阶段提取、同时处理不同类型深度神经网络加、机器学习模型的对抗训练等相继申请了专利，并深入研究了关于生成语言模型的偏差、神经网络的框架的自然语言处理等问题。谷歌对于语言模型方面的研究更加侧重于语音识别、语音合成、智能问答系统、机器翻译等方面，强调语言模型的应用前景。谷歌在2021年申请了用于用户界面预测，生成和交互理解的机器学习模型，并针对闭路语言模型、增量训练自然语言模型、通过知识图多重对齐生成优化的基于知识的语言模型申请了相关专利；2022年，谷歌又对语法纠错、使用自回归语言模型神经网络评估输出序列、训练机器学习语言编码模型等申请了专利，并且提出了有关提高Transformer或其他基于注意力的神经网络或机器学习模型的计算效率的系统和方法。这样对比来看，其实不论谷歌还是微软都早有在搜索引擎上加入AI驱动的聊天结果的想法；二者在语言模型的建立和训练方面，也都曾面临同样的问题。谷歌对于语言模型的研究起步较早，但就目前用户试用和了解的情况而言，普遍对于ChatGPT的认可程度更高。但是笔者认为，这并不代表二者的语言模型孰优孰劣，可能也与谷歌搜索引擎占据市场份额较大，对于搜索引擎的改进更加保守有关。如今，与OpenAI合作的微软正在大刀阔斧，疯狂给自己的产品加BUFF，而谷歌的应对操作也同样令我们期待。作为用户而言，不论是“发疯的必应”还是“被群嘲的Bard”都为我们带来了来自AI的惊喜，我们接受犯错的机器人，也希望更加人性化的搜索引擎能够为我们的工作和学习提供新的帮助！部分图片来源于网络（侵删）
作者简介：Cheer和她的GhatGPT小助手，集慧智佳信息技术事业部咨询师。
用知识产权的眼光看世界
欢迎原创投稿，稿件一经采用，支付稿费
投稿邮箱：iptree@iptalent.com
看都看了，点个“在看”再走鸭