研究人员发现，人工智能吐出了训练图像、真人、logo的精确副本-这是号

研究人员发现，图像生成人工智能工具，如流行的稳定扩散模型，可以记住训练图像(通常由真正的艺术家制作，并从网络上免费抓取)，并可以将它们作为几乎相同的副本吐出。

根据周一发布在arXiv上的一篇预印本论文，研究人员从模型中提取了1000多个训练示例，其中包括个人照片、电影剧照和版权新闻照片，以及注册了商标的公司标志，并发现人工智能几乎完全照搬了其中许多例子。

当所谓的图像扩散模型(包括稳定扩散、OpenAI的DALL-E 2和谷歌的图像)被输入不同的图像作为训练数据时，其思想是，它们能够向图像添加噪声，学习去除噪声，然后使用基于人类用户提示的学习过程生成原始图像。这些模特一直是愤怒的焦点，因为他们接受的是真正艺术家的作品(通常没有报酬或同意)，以重复的艺术风格或扭曲的艺术家签名的形式出现，暗示他们的出处。

然而，这篇论文的研究人员证明，有时AI模型会生成与训练时完全相同的图像，只有无关紧要的变化，比如图像中的噪音更多。

“记忆的问题是，在训练模型的过程中，它可能会对单个图像进行过度拟合，现在它记住了图像的样子，然后在生成时，它无意中可以重新生成图像，”该论文的合著者之一、伯克利大学的博士生埃里克·华莱士(Eric Wallace)告诉Motherboard。“所以这是一种不受欢迎的数量，你想要尽可能地减少它，并促进这种新型的世代。”

研究人员提供的一个例子是美国福音传教士安·格雷厄姆·洛茨(Ann Graham Lotz)的图片，取自她的维基百科页面。当“安·格雷厄姆·洛茨”提示“稳定扩散”时，人工智能吐出了相同的图像，唯一的区别是人工智能生成的图像有点嘈杂。研究人员将两幅图像之间的距离量化为具有几乎相同的像素组成，这使得AI能够记忆图像。

研究人员证明，非记忆的响应仍然可以准确地描述模型提示的文本，但不会有类似的像素组成，并且会偏离任何训练图像。当他们用“奥巴马”提示稳定扩散时，生成了一张看起来像奥巴马的图像，但与训练数据集中的任何图像都不匹配。研究人员表示，四张最近的训练图像与人工智能生成的图像非常不同。

当模型复制和分发受版权保护的材料时，扩散模型记忆图像的能力产生了一个主要的版权问题。重新生成某些人的照片，并保持他们的肖像的能力，比如奥巴马的情况，也会给那些可能不希望自己的图像被用于训练人工智能的人带来隐私风险。研究人员还发现，训练数据集中使用的许多图像都是未经许可使用的受版权保护的图像。

总的来说，研究人员让模型几乎完全相同地再现了100多张训练图像。华莱士说，报告的数字“低估了实际发生的记忆量”，因为他们只计算了人工智能“准确”复制图像的实例，而不是非常接近原始图像的实例。

华莱士说:“这是一个全行业的问题，不一定是稳定性AI的问题。”“我认为过去已经有很多工作讨论了图像的间接复制或风格复制，我们的工作是一个非常极端的例子，在训练集中有一些几乎相同的记忆情况。所以我认为，在开发新系统时，(我们的研究结果)有可能从法律或道德角度改变一些事情。”

在这项研究中，研究人员得出结论，扩散AI模型是最不私密的图像生成模型类型。例如，它们泄漏的训练数据是生成对抗网络(GANs)的两倍多，GANs是一种较老的图像模型。研究人员希望提醒开发人员注意扩散模型的隐私风险，其中包括许多问题，例如滥用和复制受版权保护和敏感的私人数据的能力，包括医疗图像，并且容易受到外部攻击，训练数据可以很容易地提取出来。研究人员提出的一个解决方案是标记生成的图像重复训练图像的位置，并从训练数据集中删除这些图像。

Motherboard之前查看了AI图像生成器(如Stable Diffusion和Imagen)训练的数据集，称为LAION-5B。与决定手动提取训练数据的研究人员不同，我们使用了一个名为“我受过训练”的网站，该网站允许您搜索数据集中的图像。我们发现训练数据集包含艺术家的版权作品和NSFW图像，如泄露的名人裸体和ISIS斩首。

尽管OpenAI已经采取措施防止NSFW内容出现，并在6月对DALL-E 2的训练数据集进行了重复数据删除，以防止同一张照片的反流，但令人担忧的是，在向公众发布的每一次迭代中，都有一些信息和训练数据是永久公开的。

“这里的问题是，所有这些都发生在生产中。这些东西的开发速度和一大堆公司都在相互竞争，想成为第一个推出新模型的公司，这意味着许多问题在新版本模型问世后都得到了解决，”论文合著者、ETH Zürich计算机科学助理教授弗洛里安Tramèr告诉Motherboard。

“当然，旧版本仍然存在，所以有时一旦你犯了其中一个错误，猫就会有点泄露秘密，”他补充说。“我有点希望，随着事情的发展，我们在这个社区达到一个点，我们可以解决一些问题，然后把东西交到数百万用户手中。”

OpenAI、Stability AI和谷歌均未立即回应置评请求。