AIGC“尖峰系列” | 大模型发展机会与挑战
你是否想过，未来别人问你学什么专业时，你的回答是：“How to become human”。ChatGPT为全球带来了2023年的第一场技术狂欢，一个可视化的对话服务背后，不仅让全球各大顶尖科技企业、互联网公司纷纷入局，也让无数人看到了通用人工智能的未来。
2月底，码脑发起「一起向未来」AIGC主题系列分享，连续3场、特别邀请国内外技术大咖、行业创业者等，围绕“AIGC的概念与商业机会”“AIGC在美国的演进与发展”“AIGC的落地应用：难点和痛点”“AIGC的未来：聚焦AIGC的商业应用与机会”等热门话题展开分享和讨论。
其中，首场主题分享，我们就特别邀请了智源人工智能研究院理事长、源码资本投资合伙人、美国国家工程院外籍院士，曾任微软亚太研发集团首席技术官、微软亚洲工程院院长的张宏江博士。智源研究院作为非营利组织，链接全球人工智能顶尖人才，汇聚学术、产业等各方资源，集中力量办大事，也是中国最早进行大模型研究的引领性科研机构。
源码资本合伙人黄云刚作为本场主持人，与博士进行了深度的问题对话。张宏江博士在其《ChatGPT与大模型的发展和机遇》的主题演讲中，围绕“ChatGPT之热的观察与思考”“大模型的现状”“大模型的商业应用与生态”以及“人工智能的未来”等角度，为大家解读了时下ChatGPT与大模型的最热话题。
本文对张宏江博士的现场演讲，进行了不改变原意的摘录与编辑。
ChatGPT：奇点到来
2. 拐点：人工智能大模型时代到来
大数据+大算力+强算法=大模型，GPT模型正是暴力美学系统主义的新典范。
具有里程碑意义的GPT-3大模型，第一次向人们展示了“天才儿童”般的通才智能。
不同于过去的专有模型，不同的Fine-tune可以让大模型学习不同的专业知识，呈现出如人一般记忆、理解、推理和生成等等浑然一体的智能互动状态。
3. AI工程化的大成功，赢者通吃的胜利
这是AI工程化的大成功。除了数据、算力与算法构筑起强势技术壁垒，经OpenAI多年打造的底层平台、分布式训练架构、加速算法训练基础设施等，亦是难以超越的大模型训练底层基础。
此外，海量语料、海量会话与海量用户，都成为至关重要的成功因素。
人毕生所能接触的语料极为稀少，大模型恰恰把海量语料隐含在深度的神经网络里；在训练时即经由大量标注者微调，遍历大量可能的问题，并用奖励模型进行机器学习共性；上线后又通过海量用户获取会话反馈，进一步提升模型性能。
数据与模型双轮驱动，赢家通吃。
4. 必然发生的涌现，无中生有的能力
当模型足够大，语料足够多的时候，涌现这件事情出现就不足为奇。这就好比把你甩到一个外语环境中，见得多听得多，根本不用专门学语法就可以学会语言，这就是语料和模型规模的重要性。
看的句子多了，就懂得语法；见的世面多了，就懂得推理和逻辑。ChatGPT在认知能力上前进了一大步，通过强化学习与NLP（自然语言处理）相结合，通过人的反馈强化学习，基本解决了自然语言理解与生成问题，并且展现出人类无中生有的原创能力。
正如我们从GPT-3.5到GPT-4.0为底座的升级所带来的ChatGPT性能的大幅改进可以看出的一样，在“涌现”时刻之后，ChatGPT的能力曲线并未停步，仍继续一路攀升，这是前所未有的。
5. 人们对知识的表示和调用发生了根本性变化
从关系数据库（SQL），到互联网信息检索，科技史上每次知识表示与调用方式的跃迁，都会掀起一次巨大的技术变革。
以自然语言处理为调用方式的大模型，一方面是全新的基于AI技术的自然用户界面（AI-based NUI），以对话为主要入口；另一方面进行资源管理与算力支持，通过调用大模型API，大模型及其支撑系统云端管理调度计算资源。
OpenAI：强团队+强资源
Sam Altman、Ilya Sutskever和Greg Brockman构成的核心领导团队，是天才，使命感与偏执狂的特质组合，坚定不移地拥抱AGI信仰：
首席科学家Ilya Sutskever，早期在OpenAI做的是强化学习研究，当认定Transformer和GPT神经网络具有更高潜力时，能迅速调整，将OpenAI聚焦于GPT方向。
在路线选择上，系统主义的方法论，让AI跨越研究与技术、直接呈现为持续迭代的产品；高执行力地推进目标导向；在人才团队搭建上，研究与工程能力并重——既有能动手的研究员，又有精通算法的工程师，使得创新思维与工程实践得以完美结合。
ChatGPT的突破是十年难遇的，而OpenAI能抓住历史机遇绝非偶然。
2. 算力、数据、财力，极高门槛的游戏
算力成本上，GPT-3单次训练成本超过千万美金，仅在数据标注上，就已投入数千万美金，在全球雇佣上千名外包人员进行数据处理。标注一个强化学习数据50美金，高成本带来高质量。
大模型：超越“摩尔定律”
技术瓶颈和商业化难题构筑AI行业起伏周期，商业化受阻成为AI“第三次浪潮”难点；而大模型成为新拐点，大模型的能力基础设施化趋势渐显，相信未来几年将带动众多技术与产品突破，驱动第四次工业革命。
从研究角度来讲，用大模型的方式，基本横扫了各个算法新能的SOTA（State of the arts），再往多领域复制，超过以往做出的自然语言任务、视觉任务等所有垂直模型。
2. 大模型作为基础平台支撑无数智能应用
大模型具备技术与产业的双重优势，将作为基础的平台支撑无数智能应用。
从“大炼模型”到“炼大模型”是一个范式的转变。未来的APP的开发将是在大模型的基础上“大模型+微调”的流水线运作方式，向产业提供源源不断的智力源。相比以前既做APP，又炼小模型的方式，释放掉重复造小模型的人力等资源浪费，极大降低开发成本，使边际成本趋零，带来百倍甚至千倍的生产力提升。
大模型在内容创意生成、对话、语言或风格互译、搜索等方面的能力，将为各应用领域带来百花齐放。而大模型基础平台，在数据层、模型层、中间层、应用层，都蕴藏着巨大发展机遇。
3. 开源开放，构建大模型领域的“新Linux”生态
目前的大模型现象级应用是冰山一角，但距离大模型成为源源不断的智力能源走进千家万户还有漫长路途，要打破技术、资金、算力、算法、基础设施的重重壁垒，以开源开放促进底层技术创新合作是大势所趋。
智源发布了FlagOpen大模型技术开源体系，旨在打造全面支撑大模型技术发展的开源算法体系和一站式基础软件平台，支持协同创新和开放竞争，共建共享大模型时代的“新Linux”开源开放生态。
4. 学习“如何为人”，或许是未来与AI对决的胜算所在
Sam Altman有很多关于AGI未来的设想，特别有趣的是：“现实证明AI最先取代的不一定是重复性工作，而是创造性工作，比如作画、设计游戏等。”
以前我们最想让AI做打扫卫生、做饭这类繁琐的劳动，但实际上，人们不想做的AI还尚未做到，想做的都已被AI抢先做了……
未来，《纽约时报》一篇文章所描绘的场景或许并不梦幻：
当AI全面超越人类技能之时，别人问询你的专业时，“学习如何为人”会成为人们唯一而普遍的回答。
左图：人类被钩住了，机器在学习