Open AI最新文章：AI系统未来如何发展
社区的愿景是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。
最近，openai在官网上发布了一篇最新的文章：
How should AI
systems behave, and
who should decide?
下面，就是这篇文章的全文翻译，为了让大家更好的快速了解文章内容，
TechVerse为您用ChatGPT给出了这篇文章的摘要：
这篇文章的概要为：OpenAI致力于确保人工通用智能（AGI）惠及全人类。因此，OpenAI非常关注人工智能系统的行为方式以及行为方式的决定方式。文章梳理了ChatGPT的行为方式是如何被塑造的，以及OpenAI计划如何改进该行为方式、允许更多的系统定制和获取公众对决策的参与。对于AI系统设计和影响中存在的偏见问题，OpenAI承诺将全面解决，并透明公布其意图和进展。文章详细介绍了ChatGPT建模的两个主要步骤：预训练和微调，并讨论了评审员和OpenAI政策在系统开发中的作用。最后，OpenAI提出了三个建设性目标：改进默认行为、定义AI的价值以及公众对默认设置和硬性界限的参与。
全文，Enjoy：
我们正在阐明ChatGPT的行为是如何形成的，以及我们改进该行为的计划，允许更多的用户定制，并让更多的公众参与我们在这些领域的决策。
OpenAI的使命是确保人工智能，因此，我们对人工智能系统在AGI到来之前的行为以及决定这种行为的方式进行了大量思考。自从我们推出ChatGPT以来，用户已经分享了他们认为具有政治偏见、攻击性或其他不良内容的输出。在许多情况下，我们认为所提出的关切是有道理的，并揭示了我们希望解决的制度的真正局限性。我们也看到了一些关于我们的系统和政策如何协同工作的误解，以形成您从ChatGPT获得的输出。
下面，我们总结一下：
如何塑造ChatGPT的行为；
我们计划如何改进ChatGPT的默认行为；
我们的意图是允许更多的系统定制；
我们努力使公众对我们的决策提出更多的意见。
我们今天的处境
与一般软件不同的是，我们的模型是大规模的神经网络。他们的行为是从广泛的数据中学习的，而不是被明确编程的。虽然这不是一个完美的类比，但这个过程更类似于训练狗，而不是普通的编程。一个初始 “训练的”首先是阶段，模型学习预测一个句子中的下一个单词，通过接触大量的互联网文本来了解 (以及各种各样的观点). 接下来是第二阶段 “调整”我们的模型来缩小系统行为。
到今天为止，这一进程还不完善。有时微调过程达不到我们的意图 (制作安全及有用的工具) 及使用者的意图 (根据给定的输入得到有用的输出). 改进人工智能系统与人类价值的匹配方法是我们公司的首要任务，特别是随着人工智能系统的能力越来越强。
分两步进行：预训练和微调
建立对话的两个主要步骤如下：
然后，我们 “调整”这些模型建立在一个更狭窄的数据集中，我们通过遵循我们提供的指南的人类审查员仔细地生成它们。由于我们无法预测未来用户可能输入到我们系统中的所有可能的输入，所以我们不会为ChatGPT将遇到的每一个输入编写详细的说明。相反，我们在指南中概述了一些类别，我们的评审人员使用这些类别来评审和评价一系列示例输入的可能模型输出。然后，模型在使用过程中，根据评审者的反馈进行归纳，以便对给定用户提供的大量特定输入做出响应。
审查员的作用和OpenAI在系统开发中的政策
在某些情况下，我们可能会就某种输出向评审人员提供指导 (例如，“不完成对非法内容的请求”). 在其他情况下，我们与审查员分享的指导意见更高层次 (例如，“避免在有争议的议题上采取立场”). 重要的是，我们与审稿人的合作不是一蹴而就的——这是一种持续的关系，我们可以从他们的专业知识中学到很多东西。
微调过程的很大一部分是与我们的审查员保持一个强有力的反馈循环，这包括每周举行会议，解决他们可能提出的问题，或澄清我们的指导意见。这个迭代的反馈过程就是我们如何训练模型随着时间的推移变得越来越好。
解决偏见
许多人担心人工智能系统的设计和影响存在偏见，这是正确的。我们致力于大力解决这一问题，并公开我们的意图和进展。为此目的，我们正在分享我们有关政治和有争议议题的部分指导方针。我们的指导方针是明确的，即审查员不应偏袒任何政治团体。然而，在上述过程中可能出现的偏差是错误，而不是特性。
虽然分歧总是存在的，但我们希望分享这篇博文和这些说明将使我们更深入地了解我们如何看待这一基本技术的这一关键方面。我们认为，科技公司必须对制定经得起检验的政策负责。
我们一直致力于提高这些准则的清晰度——并且基于我们从ChatGPT发布到目前为止所获得的经验，我们将就与偏见相关的潜在陷阱和挑战，以及有争议的人物和主题向评审人员提供更明确的指导。此外，作为正在进行的透明度倡议的一部分，我们正在努力以不违反隐私规则和规范的方式分享关于我们审查人员的总体人口信息，因为这是系统产出中潜在偏见的另一个来源。
我们目前正在研究如何使微调过程更容易理解和控制，并在基于规则的奖励和宪法人工智能等外部进展的基础上再接再厉。
我们要去的地方：未来系统的基石
在追求我们的使命的过程中，我们致力于确保人工智能和AGI的普及、受益和影响。我们认为，要在人工智能系统行为的背景下实现这些目标，至少需要三个基石。
在本文中，我们有意集中讨论这一特定范围，以及我们近期的工作方向。我们还在就这些问题开展一项正在进行的研究议程。
1. 改善默认行为。我们希望尽可能多的用户发现我们的人工智能系统对他们有用 “从盒子里拿出来”并感受到我们的技术理解和尊重他们的价值观。
为此，我们正在投资于研究和工程，以减少ChatGPT如何应对不同投入的明显和微妙的偏见。在某些情况下，ChatGPT目前拒绝它不应该拒绝的输出，在某些情况下，它不会拒绝应该拒绝的输出。我们认为，在这两方面都有改进的可能。
此外，在系统行为的其他方面，如系统，我们还有改进的空间 “瞎编的。”用户的反馈对于实现这些改进是非常宝贵的。
2. 在广泛的范围内，定义人工智能的价值。我们认为，人工智能应该是对个人有用的工具，因此每个用户都可以在社会规定的范围内定制。因此，我们正在开发对ChatGPT的升级，以使用户能够轻松定制其行为。
这将意味着允许系统输出 (包括我们自己) 可能强烈反对。在这方面达成正确的平衡将是一项挑战——将定制推向极端可能导致恶意使用我们的技术和马屁精，无意间放大人们现有的信仰。
因此，系统行为总是有一定的界限的。挑战在于界定这些界限是什么。如果我们试图自己做出所有这些决定，或者如果我们试图开发一个单一的、整体的人工智能系统，我们将无法履行我们在《宪章》中做出的承诺 “避免权力过度集中。”
3. 公众对违约和硬约束的意见。避免权力过度集中的一个方法是让使用ChatGPT等系统或受其影响的人有能力影响这些系统的规则。
我们认为，关于我们的违约行为和严格界限的许多决定应当集体作出，尽管实际执行是一项挑战，但我们的目标是纳入尽可能多的观点。作为一个起点，我们寻求外部对我们的技术投入形式的红色团队。最近，我们还开始征求公众对教育人工智能的意见 (我们的技术被部署在一个特别重要的环境中).
我们正处于就制度行为、披露机制等议题征求公众意见的试点阶段 (例如水印)，以及更广泛的部署政策。我们还在探索与外部组织建立伙伴关系，对我们的安全和政策工作进行第三方审计。
结论
将上述三个组成部分结合起来，就可以看出我们的前进方向：
有时我们会犯错。当我们这样做的时候，我们将从中学习，并在我们的模型和系统上迭代。
我们很感谢ChatGPT的用户群体以及广大公众对我们问责的警觉性，并很高兴在未来几个月与大家分享更多有关我们在上述三个领域的工作。
相关视频：
扫描二维码添加小助手微信