AI治理必修第27刊|为什么GPT-4不开源?为什么现在的LLM都是Decoder-only的架构?

AI治理必修-3月(下)第27刊发布！

AAIG的专家们用多学科的专业视角，每月从全球收集和筛选关于算法治理和可持续发展的全球态势。重点关注算力时代的新技术、新风险、新实践、以及对它们新解释。

3月(下)共26篇文章6330字,分【本月洞察、行业动态、前沿技术、产业实践】四个板块展开。

1942年，阿西莫夫在其科幻小说（I, Robot）中提出了机器人三定律：

1.机器人不得伤害人类

2.机器人必须服从人类命令，除非命令与第一定律发生冲突

3.机器人必须保护自己，只要不违背第一或第二定律

大半个世纪以来，对这三定律的讨论基本停留在科幻领域，大众也从来没有真正担心过机器人会对自己的生活会产生实质威胁。然而ChatGPT的出现让人们不得不开始严肃地思考相关问题，不得不面对ta带给整个社会的阵痛。在短短数月间：插画师、摄影师、程序员，越来越多的职业开始被AI重塑；AI会带来大量失业的对策，诸如通用基础收入（universal basic income）被越来越多的国家放到台面上讨论；一众业界巨擘尝试叫停更大规模的AI实验，这又引来了一场激烈的争论；意大利政府宣布对ChatGPT的临时禁令。而这一切只是一场巨大风险和收益持续博弈的开始。

本月发布的GPT-4前所未有的强大，也前所未有的封闭。几十页的技术报告中完全不讨论任何模型的细节。各方都在尝试复刻、逆向类GPT-4的能力，各类开源和闭源复刻层出不穷，模型萃取（model extraction）类的逆向也开始出现。如果将ChatGPT类比为iOS（封闭生态），LLM上我们暂时还没能看到类似于Android（开放生态，让渡部分权利）的商业模式。随着各方资本的不断进场，笔者认为我们将很快有机会看到一个更加多极化的生态。

Sam Altman（OpenAI CEO）：「一种新的摩尔定律就要开始了：每18个月，宇宙内的智能总数会翻一倍。」指数增长的不止是智能，还有风险。今天，机器人伤害人类的风险，已经不再科幻。

点击题目即可查看全文

《规定》作为我国首部针对深度合成服务的专门性部门规章，坚持安全与发展并重，将对新技术新应用的发展起到固根本、稳预期、利长远的积极作用。标志着我国网络综合治理能力的进一步优化提升，但深度合成技术应用与治理尚处于起步阶段，在技术支撑和能力建设方面有待于进一步加强。

第一章是总则，明确立法目的依据、适用范围和行政执法原则。第二章是管辖和适用，对网信部门行政执法地域管辖、级别管辖、指定管辖、移送管辖等制度作出规定。第三章是行政处罚程序，全面规范立案、调查取证、听证、决定和送达等各环节的具体程序要求。第四章是执行和结案，规定行政处罚的执行与监督制度。第五章是附则，对有关概念进行解释。

证监会科技监管局局长建议重点发展基于AIGC技术的合成数据产业，以更高效率、更低成本、更高质量为数据要素市场“增量扩容”，助力人工智能未来发展。他提出建立数据托管机制，对数据托管方进行约束，要求数据托管方按照监管机构的规定对数据来源、处理结果以及使用去向等进行监测，从而使得模型的输入、输出结果符合监管要求。此外，文章还探讨了大模型训练数据的来源与处理流程、合成数据的发展趋势等问题。

根据该规定，AI自动生成的作品不受版权法保护。该规定出台的原因是随着人工智能生成内容走红，越来越多的人开始通过AI平台自动创建作品。USCO认为，只有人类参与了所有重要创作步骤的作品才受到版权保护。具体来说，AI自动生成的作品中需要明确指出哪些部分由AI机器人完成，哪些是由人类完成，机器人完成的部分不能超出最大限制。

OpenAI未分享用于训练该模型的数据、能源成本、硬件或方法的信息，这引发了人工智能社区的批评，认为这破坏了该公司作为一个研究机构的创始精神，并使其他人更难以复制其工作。同时，这也使人们难以制定保障措施来应对像GPT-4这样的人工智能系统所带来的威胁。

微软宣布将人工智能工具Copilot接入Microsoft365服务中。Copilot可以在Office应用程序中生成文档、电子邮件和演示文稿，并且可以在不同的应用程序之间穿梭运作。它利用GPT-4等大模型的强大功能和自然语言技术提供给人们更丰富的功能和更高效的工作方式。

ChatGPT作为大型语言模型的代表，具有强大的对话能力，但也存在着可信性、对话式搜索引擎和通用人工智能发展等方面的局限。它正在改变传统人工智能研究方向，为接近通用人工智能提供了一种可能的方式，但需要克服现有的问题。

该模型可通过应用文本prompt或参考图像指定的任何风格来生成新视频，目前在稳定扩散等技术的基础上，视频编辑也迎来了新的突破。

该技术通过将复杂问题分解为更简单的多步骤程序，并使用多种方式在每一个步骤中对方法进行验证，提高大型语言模型在算术问题上的性能和输出结果的可信度。基于175B参数的GPT，使用MathPrompter方法将MultiArith数据集的准确率从78.7%提升到了92.5%。该方法可以弥补LLM的不足，如在数学问题上不会对自己的答案提供置信度和无法生成正确的中间步骤等。

1.是什么：ChatGPT是范式突破，还是过往AI的延伸？2.会怎样：ChatGPT两年内会达到什么水准？3.行业格局：ChatGPT以及GPT有壁垒吗？4.如何参与：我们未来应该如何使用ChatGPT？5.人文：人类和ChatGPT的本质区别是什么？对人类社会的冲击？

GPT-4已被应用于Be My Eyes应用中，可以通过上传图像并使用语音提出需求，帮助视障人士“看清”眼前的世界。该功能名为Virtual Volunteer，用户可以通过应用得到问路、导航、读取菜单、搜索等功能的帮助，甚至可以通过AI律师软件DoNotPay来推出“一键诉讼”服务。

本技术报告介绍了GPT-4，这是一个大型多模态模型，能够处理图像和文本输入并产生文本输出。这种模型是一个重要的研究领域，因为它们具有广泛应用的潜力，如对话系统、文本摘要和机器翻译。该报告还讨论了开发深度学习基础设施和优化方法在广泛的规模上表现可预测。

该平台将收集到的prompt输入到模型并测试其回复的安全性，并考虑八个安全维度和六种指令攻击下的安全性。目前已测试ChatGPT在内的多个中文语言模型并将安全分数公布在平台的排行榜上。

“蜜熊测试”通过八个问题测试大模型的质量，包括数学、生活常识、逻辑、互联网梗、电商等领域。ChatGPT在这些问题上表现最好，国内的其他模型还稍微“差一点”。“蜜熊测试”为判断一个大模型的质量提供了一种直观的方法。

Adobe Firefly是Adobe推出的创意生成式人工智能模型集，将成为跨Adobe云端产品的全新Adobe Sensei生成式AI服务的一部分。它能够帮助设计师提高设计效率，突破创意的边界，并且专注于商业设计用途，确保创作安全可用。同时，Adobe还创立了可信数字内容归属的全球标准CAI，旨在提高人工智能生成内容的透明度。Adobe Firefly是为创意时代提供的一种满足设计师需求的高效工具。

OpenAI CEO Sam Altman表示，人工智能技术将重塑社会，可能会取代许多工作，但也可能会带来更好的工作和改善生活。OpenAI推出了最新的ChatGPT模型GPT-4，能够处理图像输入，回答比其他版本更准确，用户也可以与之进行更长的对话。然而，ChatGPT等AI语言模型存在错误信息的问题，OpenAI表示正努力解决，并呼吁社会参与，帮助遏制其广泛使用所产生的任何负面结果。

OpenAI推出ChatGPT插件功能，让ChatGPT能够使用工具、联网、运行计算。用户可以接入数学知识引擎Wolfram Alpha，查询最新新闻、航班、酒店、电商数据等，也可以投喂私有数据，成为人的“第二大脑”或企业的智能助理。OpenAI还开源了知识库检索插件的代码，并强调了安全原则，多项保障措施一一针对功能。

该工具集成了一个华丽的聊天界面，可通过语音或键盘输入生成代码，并集成了单元测试、debug建议等功能。此外，Copilot X还提供了Pull Request、文档查询和CLI等多项功能。据称，Copilot X能够将开发人员的生产力提升至少10倍。一些网友表示担忧，AI的出现可能会使编程岗位失去工作。

该方法使用二元奖励机制，让模型在自我评估之后，若输出为0则开启反思模式，并利用启发式函数和修正函数实现自我反思和修正。在HotpotQA和编程测试中，使用Reflexion的LLM都表现出了明显的性能提升。这种方法不仅适用于GPT-4，也适用于其他大语言模型。

Databricks发布了拥有60亿参数的Dolly，它类似于ChatGPT，但只需要少量高质量的训练数据和30分钟的训练即可实现。Databricks希望通过证明构建类似ChatGPT这样的服务并非看起来那么困难，来抢占OpenAI的风头。Dolly的发布意味着即便是一个“过时”的开源大型语言模型，也能通过30分钟的训练，赋予它神奇的类似ChatGPT的指令跟随能力。

本文先讲述预训练语言模型与知识的关系，再阐述在对话系统中引入外部知识的原因和做法等方面，对基于知识的对话模型作简单综述。

该研究团队讨论了通过较小的模型可以在特定代码相关的任务上逼近甚至超过大模型的能力。该研究对未来模型保护提供了一些见解，并为无法承担训练超大模型的公司/个人提供了解决方案。但仅仅用于学术研究，相关人员没有用所得到的模型进行任何形式的盈利。

斯坦福学者联手CMU、UC伯克利等推出了130亿参数的Vicuna模型，经过测试和对比，结果显示Vicuna模型在绝大部分问题上的表现都非常出色，性能可以与GPT-4相匹敌，并且相对于其他模型，具有更高的准确性和流畅性。除了写作，Vicuna模型在编码、数学、角色扮演、常识等方面也具有很高的能力。

Bloomberg构建了一个3630亿个标签的数据集，训练了专门用于金融领域的LLM。他们开发了拥有500亿参数的语言模型——BloombergGPT，其在金融任务上表现远超过现有模型，同时在通用场景上的表现也很出色。该模型可以用于金融预测、金融风险控制以及自然语言处理等方面。

1. 《追AI的人》

这是一档由AAIG联合高校和产业界发起的AI治理交互栏目。重点关注分享人工智能新技术、AI治理新观点、可持续发展新风向。

1. 强化学习与神经交互；2. 人类运动-神经系统建模；3. 机器学习优化神经界面设计；4. 安全稳健的强化学习方法；5. 瘫痪患者的运动功能重建；6. 结语展望

百度推出了其人工智能产品“文心一言”，目前正处于公测阶段。在中国科技圈中，类似ChatGPT的产品非常受欢迎。百度在过去10年中投入超过1100亿人民币用于人工智能研发，使其能够建立包括高端芯片和预训练语言模型在内的全栈布局。文心一言具有通用的能力，包括文学创作、商务写作、数学推理、中文理解和多模态生成，某些方面甚至比ChatGPT更优秀。

新加坡工程院院士、AAAI、ACM、IEEE 和 IAPR会士颜水成加入智源研究院，任访问首席科学家。他的研究领域包括计算机视觉、机器学习和多模态分析，曾获十次冠军和荣誉奖、十多个最佳论文奖和最佳学生论文奖，在多模态顶级会议 ACM 上拿下多次奖项。

李开复宣布创办新公司Project AI2.0，旨在打造一个平台和生产力应用生态。该公司计划成为世界级公司，不仅仅是做中文版ChatGPT，还将推出更多AI2.0应用。据了解，该公司已经有多位全球大厂技术管理人才确认加入意向，正在全球招人模式中。

英伟达推出了一系列新的技术和服务，包括针对ChatGPT的芯片、DGX Quantum量子计算系统、DGX Cloud集群等，以应对人工智能负载的硬件需求和商业模式的变革。英伟达希望成为AI领域的台积电，提供先进生产力代工服务，并帮助其他公司训练特定场景的AI算法。

英伟达在年度GTC大会上发布了一系列新技术，其中包括可将计算光刻速度提高40倍的NVIDIA cuLitho计算光刻库、针对AI视频、图像生成和ChatGPT优化的三款新推理GPU以及用于AI超级计算的DGX Cloud服务。NVIDIA CEO黄仁勋强调“AI的iPhone时刻已经到来”，而强大的计算能力对于AI行业的成功至关重要。尽管面临AMD的挑战，NVIDIA占据了GPU市场约86%的份额，有望成为下一波AI浪潮中的赢家。

3月(上)第26刊点击查看👇

往期精彩推荐点击标题查看文章




更多人工智能治理和可持续发展好文
点击下方名片关注和星标【阿里巴巴人工智能治理与可持续发展研究中心】👇AAIG课代表，获取最新动态就找她

 关注公众号发现更多干货❤️

有启发点在看喔👇