据Motherboard采访的四名受害者称,人工智能生成的声音已经被用来骚扰普通人,网络喷子制造出声音,然后让他们读出受害者的家庭地址,并将结果发布在网上。这场运动的所有受害者都是曾经在电子游戏领域工作过的配音演员。
这一消息凸显了人工智能语音对任何在网上有语音录音的人构成的强大威胁。播客、youtube博主和主播只是未来可能成为此类攻击目标的其他类型的人。Motherboard此前曾报道过4chan成员如何合成名人声音的复制品,其中包括一个艾玛·沃特森朗读《我的奋斗》的复制品。这种攻击现在延伸到了那些不像好莱坞名人那么高调的人身上。
“大家好,我是艾比(阿比的名字),”一段发布在推特上的声音剪辑说。Motherboard在他们的要求下保留了一些演员的姓氏,包括艾比。然后合成的声音读出了艾比的家庭住址,并补充道:“我住在(恐同的蔑称)洛杉矶。是的,这也意味着我住在加州,美国最(种族歧视)的州。就我个人而言,杀害(种族主义诽谤)和(性虐待行为)儿童是完全没问题的。”
骚扰者在推特上发布了类似的音频片段,其中包括至少其他三名演员的家庭住址和假声音。Zane Schacht曾参与《辐射4》;Tom Schalk曾致力于《Poppy Playtime》。他们还发布了另一位名叫迈克尔的演员的地址。为分享这些人的私人信息而创建的Twitter账户还转发了另一段使用人工智能生成语音的视频,这次是《杀手》游戏《47号特工》的风格。
沙尔克在电子邮件中告诉Motherboard:“我基本上只是在一个帖子上看到了我的标签,我马上注意到的是我的家庭地址,所以我很惊讶。”“然后我发现它有种族主义言论,以网络喷子可能会做的那种方式尽可能地煽动性。据我所知,这从一开始就是一个诱饵,试图从那些公开表达对人工智能担忧的配音演员那里吸引人气。”上周,Motherboard报道了声优行业内部的担忧,即客户要求演员签署他们的声音权利,以便稍后使用人工智能生成更多素材。
推特已经删除了一条违规推文,并暂停了一个相关的个人资料。但在很多情况下,Twitter都未能删除这些推文,尽管它们明显违反了Twitter关于发布私人信息的政策。沙尔克说:“更令人沮丧的是,推特的支持系统在删除这条帖子方面是多么无效。不管被盗的身份,公开发布的私人信息和种族主义诽谤,推特的支持系统都认为这篇帖子和账户是完全正常的。”推特(Twitter)清空了通讯部门;埃隆·马斯克没有回应置评请求。
在包括家庭地址在内的一些推文中,骚扰者声称音频是由一家名为ElevenLabs的人工智能语音公司生成的。上个月Motherboard报道称,4chan的成员似乎使用了ElevenLabs来制作名人的音频。似乎是对这些视频的回应,ElevenLabs表示正在探索围绕其平台的更多安全措施。在此之前,人们创造任何声音的门槛都要低得多。
在发给骚扰受害者的Twitter直接消息中,ElevenLabs承认,“47号特工”的音频是用该公司的系统制作的。“我们有那个人的IP地址,”ElevenLabs在其中一条消息中给艾比写道。艾比和其他受害者将这些信息的副本分享给了Motherboard。但ElevenLabs表示,用来读出受害者家庭地址的声音不是用他们的技术制造的。
“对你的doxing攻击太可怕了,不应该发生,”ElevenLabs在给艾比的信中写道。“我们想要澄清的是,尽管提到了这一点,但这不是用我们的软件创建的,也不是与我们公司有关的。我们可以跟踪每一个没有通过我们系统的请求。我们认为这是一次有组织的抹黑活动,此前我们引入了额外的安全措施来防止滥用和此类恶意案件。”
Mati Staniszewski是palantir的前部署策略师,现在是ElevenLabs的联合创始人,他在一封电子邮件中告诉Motherboard:“我们意识到一些案例,文本转音频软件被用来创建冒犯或令人反感的内容,然后被错误地归因于我们的技术。我们能够识别所有使用我们的软件制作的内容,经过调查,几乎所有这些剪辑都是使用其他平台制作的。我们新的安全措施已经迅速减少了滥用的情况,我们很感谢我们的用户社区继续标记任何需要采取额外行动的例子,如果违反法律,我们将支持当局识别这些用户。”
“我们对滥用或误用任何文字音频软件来伤害或冒犯他人采取零容忍的态度。他补充说:“我们对少数人选择以这种方式使用这项技术感到非常沮丧,但我们相信现有和即将推出的保障措施将继续解决这一问题。”
订阅我们的网络安全播客CYBER。订阅我们新的Twitch频道。