美国当地时间6月5日，一位名叫马克沃尔特斯（Mark Walters）的电台主持人正式对OpenAI提起诉讼，称其产品ChatGPT对自己进行了“虚假和恶意的指控”。事情的起因来自美国本地的一个真实案件——“第二修正案基金会诉弗格森案”。这起诉讼由美国的一家名为第二修正基金会（Second Amendment Foundation，简称SAF）的枪支权利组织和其他原告提起，主张华盛顿州总检察长弗格森、美国酒精、烟草、火器和爆炸物管理局、美国司法部长等违反了美国宪法第二修正案的规定，即“公民有权保持和携带武器”。
针对此案，一位名叫费雷德（Fred Riehl）的记者在今年5月时准备写一篇报道，在总结素材时，他使用ChatGPT帮忙总结这一案件的相关信息。很快，ChatGPT就回复了一份30页的总结，内容将沃尔特斯标识为了第二修正基金会的财务主管和首席财务管理，并指控其涉嫌欺诈、挪用资金。
但事实上，沃尔特斯本人与这一案件毫无关系，不是原告、被告，也不是相关联系人。唯一的联系，可能就是沃尔特斯作为电台主持人，参与了一项与“第二修正案”相关的电台节目。
ChatGPT声明沃尔特斯被指控从一个非营利组织诈骗和挪用资金后，马克沃尔特斯正在起诉该公司。沃尔特情况在6月5日提交给佐治亚州的Gwinnett县高等法院，他正在寻求从OpenAI的未指明的金钱赔偿。ChatGPT因产生虚假和误导信息成为第一个针对创建者OpenAI的诽谤案。鉴于对ChatGPT和其他聊天机器人产生的虚假信息的广泛投诉，该案件值得注意。这些系统没有可靠的方法来区分事实和虚构，当被要求提供信息时——特别是当被要求确认提问者所暗示的事情是真的时——他们经常编造日期、事实和数字。通常情况下，这些捏造出来的东西只会误导用户或者浪费用户的时间。但此类错误造成伤害的案例开始出现。其中包括一位教授威胁要留级在ChatGPT声称他的学生用人工智能写论文，和一个律师面临可能的制裁在使用ChatGPT研究假法律案件之后。这位律师最近告诉法官：“我听说了这个新网站，我误以为它是一个超级搜索引擎。”OpenAI在ChatGPT的主页上包含了一个小的免责声明，警告该系统“可能偶尔会产生不正确的信息”，但该公司也将ChatGPT作为一个可靠的数据来源，在广告文案中将该系统描述为一种“获得答案”和“学习新东西”的方式。“ OpenAI的首席执行官山姆·奥特曼在许多场合说比起书本，他更喜欢从ChatGPT上学习新信息。不过，目前尚不清楚是否有法律先例要求公司对人工智能系统负责。生成虚假或诽谤信息，或者这个特殊的案例是否有实质性的价值。传统上在美国，第230节保护互联网公司免受由第三方制作并托管在其平台上的信息的法律责任。目前尚不清楚这些保护措施是否适用于人工智能系统，因为人工智能系统并不简单地链接到数据源，而是重新生成信息（这一过程也会导致他们创建虚假数据）。沃尔特斯在格鲁吉亚提起的诽谤诉讼可以检验这一框架。该案例指出，记者Fred Riehl要求ChatGPT总结一个真正的联邦法院案件通过链接到一个在线PDF。ChatGPT的回应是创建了一个虚假的案件摘要，详细和令人信服，但在几个方面是错误的。ChatGPT的摘要包含了一些事实上正确的信息，但也有对Walters的虚假指控。Riehl从未公布过ChatGPT生成的虚假信息，但与另一方核对过细节。从案件档案中还不清楚沃尔特斯是如何发现这一错误信息的。值得注意的是，尽管ChatGPT遵从了Riehl对PDF进行摘要的要求，但如果不使用附加的插件，它实际上是无法访问这些外部数据的。该系统无法提醒Riehl注意这一事实，这是其误导用户能力的一个例子。尤金·沃洛克，一位法学教授，指出在一个博客文章尽管他们认为“（针对人工智能公司的）此类诽谤索赔原则上在法律上是可行的”，但这起特殊的诉讼“应该很难维持”。Volokh指出，Walters没有通知OpenAI关于这些虚假陈述，给他们一个机会来删除它们，并且ChatGPT的输出没有造成实际的损害。