从编造学术论文到 抄袭艺术家，生成式人工智能有大量记录详实的错误。 现在，它似乎又出现在国家影响力行动中。根据马萨诸塞州威胁情报公司 Recorded Future 的最新报告，最近的一次活动"很可能"得到了商业人工智能语音生成产品的帮助，其中包括热门初创公司ElevenLabs 公开发布的技术。
该报告描述了一场与俄罗斯有关的活动，旨在破坏欧洲对乌克兰的支持，该活动被称为"暗杀行动"，在虚假或误导性的"新闻"视频中突出使用了人工智能生成的配音。
这些视频以欧洲受众为目标，除其他主题外，还攻击乌克兰政客腐败或质疑向乌克兰提供军事援助的有用性。
报告指出，视频创作者"很有可能"使用了语音生成的人工智能，包括 ElevenLabs 的技术，以使其内容看起来更合法。 为了验证这一点，Recorded Future 的研究人员将这些片段提交给 ElevenLabs 自己的 AI 语音分类器，该分类器可让任何人"检测音频片段是否使用 ElevenLabs 创建"，并得到了匹配结果；
ElevenLabs没有回应置评请求。 虽然Recorded Future指出可能会使用几种商业人工智能语音生成工具，但它没有指出除ElevenLabs之外的其他工具。
影响运动自己的策划者无意中展示了人工智能语音生成的实用性，他们相当草率地发布了一些带有真人配音的视频，这些配音带有"明显的俄罗斯口音"。 相比之下，人工智能生成的配音使用了多种欧洲语言，如英语、法语、德语和波兰语，没有任何外国口音。
根据 Recorded Future 的说法，人工智能还允许以欧洲的多种语言快速发布误导性片段，如英语、德语、法语、波兰语和土耳其语（所有语言都由 ElevenLabs 支持）。
Recorded Future 将这一活动归咎于 Social Design Agency，这是一家总部位于俄罗斯的组织，美国政府于今年 3 月制裁了该组织，原因是其运营着"一个由 60 多个网站组成的网络，这些网站假冒欧洲真正的新闻机构，然后使用虚假的社交媒体帐户来扩大这些欺骗网站的误导性内容"。 美国国务院当时表示，所有这一切都是"代表俄罗斯联邦政府"进行的。
Recorded Future得出的结论是，该活动对欧洲舆论的总体影响微乎其微。
据彭博社报道，一家语音欺诈检测公司得出结论称，这并不是 ElevenLabs 的产品第一次被指滥用。一家语音欺诈检测公司得出结论称，在 2024 年 1 月的一次初选中，该公司的技术在冒充美国总统乔-拜登（Joe Biden）的机器人电话中发挥了作用，该电话敦促选民不要外出投票。 作为回应，ElevenLabs 表示它发布了新的安全功能，比如自动屏蔽政客的声音。
ElevenLabs 禁止"未经授权的、有害的或欺骗性的假冒行为"，称它使用各种工具来执行这一规定，如自动和人工审核；
ElevenLabs 自 2022 年成立以来经历了爆炸式的增长。 该公司最近的净资产收益率从不到一年前的 2500 万美元增长到了 8000 万美元，估值可能很快就会达到 30 亿美元。 其投资者包括 Andreessen Horowitz 和 Github 前首席执行官 Nat Friedman。