GPT与训练数据：个人信息保护和数据训练收费（外媒编译）

编者按

关于LLMs（大型语言模型）的风险和监管，本公号发布过以下文章：

今天和大家分享的是两则外电新闻，关于GPT和训练数据。

OpenAI对数据的渴求正反过来咬它一口

该公司的人工智能服务可能违反了数据保护法，而目前还没有解决方案。

OpenAI仅剩一周时间来遵守欧洲数据保护法规，此前意大利实施了临时禁令，其他欧盟国家也进行了一系列调查。如果未能遵守，OpenAI可能面临巨额罚款、被迫删除数据，甚至被禁止。

但专家告诉《麻省理工科技评论》（MIT Technology Review），OpenAI几乎不可能遵守这些规定。这是因为训练其AI模型所使用的数据收集方式：从互联网上大量收集内容。

在AI开发中，主导范式是：训练数据越多越好。OpenAI的GPT-2模型的数据集包含40GB的文本。基于GPT-3的ChatGPT则是在570GB的数据上进行训练的。OpenAI尚未透露其最新模型GPT-4的数据集有多大。

但是，对于更大模型的渴求现在开始对该公司造成影响。在过去几周里，几个西方数据保护机构开始调查OpenAI收集和处理ChatGPT动力数据的方式。他们认为，OpenAI在未经他们同意的情况下，抓取了人们的个人数据，如姓名或电子邮件地址，并加以使用。

意大利机构已经作为预防措施禁止了ChatGPT的使用，法国、德国、爱尔兰和加拿大的数据监管机构也在调查OpenAI系统如何收集和使用数据。欧洲数据保护委员会，数据保护机构的联合组织，也正在设立一个欧盟范围内的特别工作组，协调关于ChatGPT的调查和执法。

意大利已给OpenAI至4月30日的时间来遵守法律。这意味着OpenAI将不得不征得人们的同意，让他们的数据被抓取，或证明它在收集数据时具有“合法利益”。OpenAI还必须向人们解释ChatGPT如何使用他们的数据，并赋予他们纠正聊天机器人输出关于他们的任何错误信息的权力，让他们的数据在他们要求时被删除，以及反对让计算机程序使用它。

如果OpenAI不能说服当局其数据使用行为是合法的，它可能会在特定国家甚至整个欧洲联盟被禁止。它还可能面临巨额罚款，甚至可能被迫删除模型及用于训练它们的数据，法国数据保护机构CNIL的AI专家阿莱克西斯·洛蒂埃（Alexis Leautier）表示。

OpenAI的违规行为如此明目张胆，以至于这个案子很可能会最终在欧洲联盟最高法院——欧洲联盟法院——审理，纽卡斯尔大学的互联网法教授莉莉安·爱德华兹（Lilian Edwards）表示。在意大利数据监管机构提出的问题得到解答之前，可能还需要几年的时间。

对OpenAI来说，赌注从未如此之高。欧盟的《通用数据保护法规》（GDPR）是全球最严格的数据保护制度，世界各地从巴西到加利福尼亚的监管机构都在密切关注接下来的情况，结果可能会从根本上改变AI公司收集数据的方式。

除了更加透明地公开其数据实践外，OpenAI还必须证明它采用了两种可能的合法途径之一来收集其算法的训练数据：同意或“合法利益”。

看起来OpenAI很难争辩说在抓取用户数据时获得了人们的同意。这使得它只能争辩说，在这样做时具有“合法利益”。爱德华兹表示，这可能需要公司向监管机构充分证明ChatGPT的重要性，以证明在未经同意的情况下收集数据是合理的。

OpenAI告诉我们，它认为自己遵守了隐私法，而在一篇博客文章中，公司表示，在“可行”的情况下，会根据要求从训练数据中删除个人信息。

该公司表示，其模型是基于公开可用内容、许可内容以及人工审查员生成的内容进行训练的。但对于GDPR来说，这个标准太低了。

爱德华兹说：“美国有一种观点，认为公开的东西不再是私人的，这与欧洲法律的运作方式完全不同。” GDPR赋予人们作为“数据主体”的权利，比如知情权、数据收集和使用方式以及将数据从系统中删除的权利，即使该数据最初是公开的。

找寻大海捞针式的问题

OpenAI还面临另一个问题。意大利监管机构表示，OpenAI在后训练阶段收集用户数据方面并不透明，比如在他们与ChatGPT互动的聊天记录中。

勒奥蒂埃说：“真正令人担忧的是它如何使用您在聊天中提供的数据。” 人们倾向于与聊天机器人分享亲密的、私人的信息，如他们的心理状态、健康状况或个人观点。勒奥蒂埃表示，如果ChatGPT将这些敏感数据泄露给他人，那将是一个问题。他补充说，根据欧洲法律，用户需要能够删除他们的聊天记录数据。

AI研究员、初创公司Hugging Face的首席道德科学家，曾担任谷歌AI伦理联合主管的玛格丽特·米切尔（Margaret Mitchell）表示，OpenAI几乎不可能识别个人数据并将其从模型中删除。

她说，如果该公司从一开始就建立了健全的数据记录保持机制，本来可以避免巨大的麻烦。相反，在AI行业中，通常通过不加区分地从网络上抓取数据来为AI模型建立数据集，然后将删除重复数据或无关数据点、过滤不需要的内容和修复拼写错误等工作外包。这些方法和数据集的庞

大规模意味着科技公司对其模型训练所涉及的内容了解甚少。

尼提亚·桑巴西瓦（Nithya Sambasivan），曾任谷歌研究科学家和企业家，其2021年的论文阐述了AI行业低估数据的方式。桑巴西瓦表示，科技公司不记录如何收集或标注AI训练数据，甚至通常不了解数据集中的内容。

在ChatGPT庞大、难以驾驭的训练数据集中找到意大利数据就像在大海捞针。即使OpenAI设法删除了用户数据，也不清楚这种删除是否会是永久的。研究表明，即使数据已被删除，数据集在互联网上仍然存在，因为原始数据的副本往往仍然在线。

米切尔说：“关于数据收集的技术水平非常非常不成熟。”这是因为大量的工作都投入到了为AI模型开发尖端技术，而在过去的十年里，数据收集方法几乎没有改变。

桑巴西瓦表示，在AI界，人们过分强调AI模型的研究，而忽视了其他方面。米切尔同意：“在机器学习领域，从文化上讲，研究数据被视为琐碎的工作，而研究模型被视为真正的工作。”

桑巴西瓦说：“作为一个整体，数据工作需要得到更多的重视。”

---

Stack Overflow将向AI巨头收取训练数据费

程序员问答网站加入Reddit，要求在其数据被用于训练算法和ChatGPT式的机器人时给予补偿。

开发ChatGPT等工具背后的AI系统以及图像生成器Dall-E的成本高达数亿美元，而且成本即将上升。

OpenAI、谷歌等公司开发大规模AI项目时，传统上从网上抓取大量训练数据，而不需要支付费用。然而，Stack Overflow（一家受欢迎的计算机编程帮助网络论坛）计划从今年年中开始向大型AI开发商收费，以访问其服务上的5000万个问题和答案，CEO Prashanth Chandrasekar表示。该网站拥有超过2000万注册用户。

Stack Overflow决定向利用其数据的公司寻求补偿，这是其更广泛的生成式AI战略的一部分，此前尚未报道。这紧随Reddit本周宣布，将从6月开始向部分AI开发者收费，以访问其自有内容。

这两个社区网站并非唯一希望分享收益的。包括Condé Nast（WIRED的所有者）在内的美国出版商贸易团体News/Media Alliance今天公布了一项原则，要求生成式AI开发者就其数据的使用进行谈判，并尊重他们获得公平补偿的权利。

Meta、谷歌和OpenAI（ChatGPT的制造商）都开发了使用从数千个在线来源（包括Stack Overflow和Reddit）获取的数据集的AI系统，这些来源来自外部分析和他们自己的披露。将在线闲聊或关于编程的专家讨论中的文本输入到称为大型语言模型（LLM）的机器学习算法中，可以帮助AI文本生成器或聊天机器人变得更流畅、更有知识。使用LLM生成编程代码被视为这项技术最大的机会之一，微软为其代码生成器GitHub Copilot每月每人收费高达19美元。

Stack Overflow的Chandrasekar表示：“为LLM提供动力的社区平台绝对应该得到补偿，这样像我们这样的公司就可以将资金重新投入到社区，使社区继续繁荣发展。”他说：“我们非常支持Reddit的做法。”

Chandrasekar认为，潜在的额外收入对于确保Stack Overflow能够继续吸引用户并维护高质量信息至关重要。他辩称，这也将有助于未来的聊天机器人，因为它们需要“接受有助于推动知识进步的东西进行训练。它们需要创造新知识。”但是，将有价值的数据进行保护也可能阻碍某些AI训练，并减缓LLM的改进速度。而LLM可能对人们寻求信息和交流的任何服务构成威胁。Chandrasekar表示，适当的许可将有助于加速高质量LLM的开发。

每个AI开发者都在寻求降低开发大规模AI系统的巨大成本，这需要消耗大量昂贵的计算机来提供动力。不得不为曾经免费获取的数据付费可能会延长他们尚不明确的盈利时间表。OpenAI没有回应评论请求，Meta和谷歌也没有立即置评。

Stack Overflow和Reddit都没有公布定价信息。Reddit发言人Tim Rathschmidt说：“我们正在就此事进行研究，并将在未来几周内与合作伙伴分享更多信息。”Chandrasekar表示，Stack Overflow将研究Reddit的策略，并咨询潜在客户的意见，其中一些客户已经联系了他们以获取数据访问权限。

定价的潜在路线图可能来自埃隆·马斯克，他本月提高了访问Twitter数据的价格。访问5000万条推文的价格从每月42,000美元起。此前，约三倍的推文数量是免费提供的。本周，马斯克在一条推文中指责微软（一家主要的AI开发商和OpenAI的密切合作伙伴）“非法使用Twitter数据”来训练算法。他还补充道：“是时候起诉了。”

Stack Overflow和Reddit将继续为某些人和公司免费提供数据许可。Chandrasekar表示，Stack Overflow只希望从为大型商业目的开发LLM的公司那里获得报酬。“当人们开始为基于像我们这样的社区搭建的网站构建的产品收费时，这就不再是合理使用。”他说。

本周，Reddit首席执行官Steve Huffman告诉《纽约时报》，他不想免费为世界上最大的公司提供便利。“爬取Reddit，产生价值却不把这些价值回馈给我们的用户，我们对此表示反感。”他说。

随着人们对ChatGPT式机器人和其他基于LLM构建的产品有望获得巨额利润的期望飙升，其他拥有大量用于训练机器学习算法的内容的公司也希望获得报酬。一些新闻出版商对微软新推出的Bing聊天机器人如何处理他们的内容表示担忧。

然而，到目前为止，只有少数关于访问训练数据的公开交易得到了宣布，例如图片库Shutterstock同意向OpenAI许可其内容。其竞争对手盖茨图片正起诉OpenAI的竞争对手Stability AI，因为后者在未经许可的情况下涉嫌使用了超过1200万张照片。AI初创公司的回应将于下周在美国联邦法院提交。

AI开发者目前尚未面临全面付费压力。一些拥有大量学术文本或非正式对话的公司表示，他们没有计划开始收费提供API或类似的数据门户。科学研

究出版商PLOS的发言人David Knutson表示，PLOS是一个已经被AI培训利用的内容提供商，他们的使用条款“不太可能”发生变化。在线社区平台Discord没有计划修改其API提供，该提供是免费的，且其条款禁止进行AI训练，发言人Swaleha Carlson表示。

对于Stack Overflow来说，收费API只是其更广泛AI战略的一部分，该公司预计将在未来几个月内发布。目前，Stack Overflow近600名员工中约有10%的人在致力于这项计划，其中包括开发其自己的生成式AI服务。例如，一个助手功能可以在人们提问时给予指导。

到目前为止，Stack Overflow社区的主要举措是禁止用户发布AI生成的回复。Chandrasekar表示，在ChatGPT发布后，错误答案数量激增，给公司的几百名版主带来了挑战。

自2008年成立以来，Stack Overflow通过销售广告和向1200多个组织许可Q&A软件作为内部使用的订阅，实现了收入的平衡增长。根据最近可用的数据，截至2022年9月30日的六个月内，公司的销售额同比增长33%，达到4500万美元。在此期间，每个月平均有20万名新用户注册。

如果Stack Overflow成功地向AI制造商许可他们免费撰写的问题和答案，那么这些用户有理由要求自己的补偿。Chandrasekar表示：“我们确实在考虑如何最好地确保我们的社区成员和使该网站成为今天所呈现的样子的人们——在这里发生的事情背景下，我们将如何照顾他们。”

数据保护官（DPO）社群主要成员是个人信息保护和数据安全一线工作者。他们主要来自于国内头部的互联网公司、安全公司、律所、会计师事务所、高校、研究机构等。在从事本职工作的同时，DPO社群成员还放眼全球思考数据安全和隐私保护的最新动态、进展、趋势。2018年5月，DPO社群举行了第一次线下沙龙。沙龙每月一期，集中讨论不同的议题。目前DPO社群已超过400人。关于DPO社群和沙龙更多的情况如下：

DPO线下沙龙的实录见：

1. 第二十一期DPO沙龙纪实：数据合规中的自动化技术及其应用

2. 数据保护官（DPO）大湾区沙龙：大湾区数据跨境便利化的安全合规路径和实践案例-纪实

域外数据安全和个人信息保护领域的权威文件，DPO社群的全文翻译：

传染病疫情防控与个人信息保护系列文章

关于数据与竞争政策的翻译和分析：

健康医疗大数据系列文章：

网联汽车数据和自动驾驶的系列文章：

网络空间的国际法适用问题系列文章：

《网络数据安全管理条例（征求意见稿）》系列文章：

《数据安全法》的相关文章包括：

赴美上市的网络、数据安全方面的两国监管乃至冲突方：

个性化广告或行为定向广告（behavioral targeting advertising）系列的文章：

人脸识别系列文章：

内容安全方面的文章如下：

关于健康医疗数据方面的文章有：

第29条工作组/EDPB关于GDPR的指导意见的翻译：

数字贸易专题系列：

关于中国数据出境安全管理制度的文章

1. 认证制度为中国个人信息跨境流动保驾护航

2. 专家解读｜《个人信息出境标准合同办法》出台 贡献数据跨境流动中国方案

美国方面的个人信息保护立法的文章：

关于个人信息安全影响评估的文章如下：

关于印度的数据保护和数据治理政策和技术文件的文章有：

关于欧盟技术主权相关举措的翻译和分析：

关于我国《个人信息保护法》的文章：

关于数据的安全、个人信息保护、不正当竞争等方面的重大案例：

本公号发表过的关于数据要素治理的文章有：

围绕供应链安全，本公众号曾发表文章：

围绕着出口管制，本公众号曾发表文章：

本公号发表过的关于数据执法跨境调取的相关文章：

关于业务场景中数据跨境流动的文章如下：

1. 第108号公约-个人数据跨境转移示范合同条款（中译本）

2. EDPB《关于GDPR第3条的适用与第五章的国际转移规定之间的相互作用的05/2021准则》2.0版本-中文翻译
   

通过技术增强对个人信息的保护的文章包括：

关于保护网络和信息系统安全的相关文章包括：

关于个人数据和域外国家安全审查之间的关系：

关于人工智能安全风险和监管的文章：

1. 推荐算法中引导正能量和破解信息茧房的路径探讨

围绕着TIKTOK和WECHAT的总统令，本公号发表了以下文章：

地缘政治与跨国科技公司运营之间的互动影响：

关于中美与国家安全相关的审查机制，本公号发布过以下文章：