OpenAi:我承认,我也没法分别AI内容,大家别被骗了!
此前 OPENAI 曾推出一款名为 AI 分类器 (AI Classifier) 的工具,让有需要的用户例如教师可以使用该分类器检测学生作业或论文是否由 ChatGPT 生成。
到 7 月份 OPENAI 悄悄下架了这款 AI 分类器,OPENAI 称其准确性太差。
OPENAI:ChatGPT 没能力检测,就是瞎编
OPENAI 在上周发布的一份新文件中承认,检测 AI 造假的工具并不能找出不当使用,而且还可能存在冤假错案的情况。
这份文件是面向教育工作者的,指导教师如何使用 OPENAI 提供的 AI 类相关工具,文件由 OPENAI 和宾夕法尼亚大学沃顿商学院教师合作开发。
OPENAI 在文件中特别强调,检测学生是否使用 AI 生成论文或作业的 AI 检测器没用,OPENAI 称,尽管一些业者,包括自己,都公开宣布能够检测 AI 生成的内容,但没有一项检测工具 / 服务能够稳定分辨内容到底是真人撰写还是 AI 生成的。
此外 ChatGPT 也不知道哪些内容是 AI 生成的,如果用户尝试使用 ChatGPT 来检测内容,由于 ChatGPT 没有能力分辨,所以它会自己杜撰一个内容回答给用户,这都是 ChatGPT 随便猜的,压根没有事实依据。
OPENAI 自己的研究也发现,AI 类检测器有时候会将人类撰写的内容标记为 AI 生成,例如 OPENAI 自己的 AI 分类器,就将莎士比亚剧本和美国独立宣言标注为 AI 生成。
当然就算是这些工具可以在某些程度上分辨内容是否由 AI 生成,但学生只需要简单需改一些词语或排序,就可以躲避检测。
另一方面也造成冤假错案:
在 Reddit 上有不少学生抱怨自己的论文或一些报告被 AI 冤枉时 AI 生成的,他们不得不花费大量时间收集证据以向教师解释这是他们自己撰写的,而非 AI 生成。
基于这种情况 OPENAI 不建议教师再使用这类检测工具,该公司鼓励教师们自行研究最合适的方法。OPENAI 也建议教师允许学生使用 ChatGPT,以便观察学生们利用 ChatGPT 解决问题的能力、培养求证 AI 答案的素养、建立负责任的使用态度。