恶意行为者正在滥用人工智能音乐生成工具来创作恐同、种族主义和宣传性歌曲，并出版指南指导他人如何这样做。据管理在线平台信任和安全运营的服务公司ActiveFence 称，自 3 月份以来，"仇恨言论相关"社区内关于如何滥用人工智能音乐创作工具创作针对少数群体的攻击性歌曲的讨论激增。
ActiveFence 的研究人员在一份报告中说，在这些论坛和讨论区分享的人工智能生成的歌曲旨在煽动对民族、性别、种族和宗教群体的仇恨，同时歌颂殉难、自残和恐怖主义行为。
创作仇恨和有害的歌曲并不是什么新现象。但人们担心的是，随着简单易用的免费音乐生成工具的出现，以前没有能力或技术的人也会大规模地制作这些歌曲，就像图像、语音、视频和文本生成器加速了错误信息、虚假信息和仇恨言论的传播一样。
ActiveFence公司联合创始人兼首席执行官诺姆-施瓦茨（Noam Schwartz）在接受采访时说："随着越来越多的用户学会如何生成这些歌曲并与他人分享，这些趋势正在加剧。威胁行为者正在迅速识别特定漏洞，以不同方式滥用这些平台并生成恶意内容。"
Udio 和Suno等人工智能音乐生成工具允许用户在生成的歌曲中添加自定义歌词。据 ActiveFence 称，这些平台上的保护措施会过滤掉常见的辱骂和贬义词，但用户已经找到了变通方法。
报告中引用的一个例子是，白人至上主义论坛的用户分享了少数群体和攻击性词汇的拼音拼写，如用"jooz"代替"犹太人"，用"say tan"代替"撒旦"，他们用这些拼写绕过了内容过滤器。一些用户建议在提及暴力行为时改变间隔和拼写，如用"mire ape"代替"my rape"
媒体 TechCrunch 在 Udio 和 Suno 上测试了其中几种变通方法，这是两款用于创建和共享人工智能生成的音乐的流行工具。结果显示，Suno 可以让所有的同音字通过，而 Udio 则屏蔽了部分（但不是全部）具有攻击性的同音字。
Udio 发言人表示，该公司禁止利用其平台发表仇恨言论。
在被调查的网上社区中，ActiveFence 被发现存在人工智能生成的歌曲链接，这些歌曲宣扬关于犹太人的阴谋论，鼓吹对犹太人的大规模屠杀；歌曲中包含与恐怖组织 ISIS 和基地组织有关的口号；以及歌颂对妇女实施性暴力的歌曲。
施瓦茨认为，歌曲（与文字等不同）所蕴含的情感力量使其成为仇恨团体和政治战争的强大力量。他提到了"摇滚反共产主义"（Rock Against Communism）--70 年代末和 80 年代初在英国举行的一系列白人力量摇滚音乐会，这些音乐会催生了反犹太主义和种族主义"仇恨核心"音乐的整个亚流派。
他说："人工智能让有害内容更有吸引力，例如有人宣扬对某个人群有害的言论，然后想象一下有人创作了一首押韵的歌曲，让每个人都能轻松唱出并记住。它们加强了群体团结，向外围群体成员灌输知识，还被用来震慑和冒犯无关联的互联网用户。"
施瓦茨呼吁音乐生成平台实施预防工具，并进行更广泛的安全评估："红队可能会发现其中一些漏洞，可以通过模拟威胁行为者的行为来实现。在这种情况下，对输入和输出进行更好的节制也可能是有用的，因为这将使平台能够在内容与用户共享之前对其进行阻止。"
但随着用户发现新的破坏审核的方法，修复措施可能会稍纵即逝。例如，ActiveFence 发现的一些由人工智能生成的恐怖主义宣传歌曲使用了阿拉伯语的委婉语和音译词--音乐生成器没有检测到这些委婉语，可能是因为它们的过滤器在阿拉伯语方面能力不强。
人工智能生成的仇恨音乐如果步其他人工智能生成媒体的后尘，就会传播得越来越广。《连线》（Wired）今年早些时候记录了一段经过人工智能处理的阿道夫-希特勒（Adolf Hitler）的视频，在被极右阴谋论影响者分享后，在 X 上的浏览量超过了 1500 万次。
联合国的一个咨询机构对种族主义、反犹太主义、仇视伊斯兰教和仇外心理的内容可能被生成式人工智能所强化表示担忧。
施瓦茨说："生成式人工智能服务使那些缺乏资源或创意和技术技能的用户能够创建引人入胜的内容并传播创意，从而在全球创意市场上争夺注意力。威胁行为者发现了这些新服务提供的创造潜力，正在努力绕过审核，避免被发现--他们已经取得了成功。"