想想看当你正在和人工智能应用进行语音交谈时，突然人工智能的声音不是预设的声音，而是模仿你的声音说话，听起来是不是让人毛骨悚然。日前 OpenAI 就透露 ChatGPT 在测试期间出现了这种意外情况，ChatGPT 在和用户进行对话时，因为某种原因突然模仿用户的声音说话。
此次测试是 OpenAI 雇佣的红队成员 (进行对抗性测试并找出问题) 测试期间发现的，随后 OpenAI 对系统进行溯源，OpenAI 称 ChatGPT 的高级语音模式在嘈杂的输入环境中可能会出现这种无意识情况。
正常情况下 ChatGPT 高级实时语音模式在未获得用户同意的情况下，不能模仿用户的声音，这种本身就有安全机制，但测试暴露的问题则是安全机制有漏洞。
OpenAI 解释称有个专门的系统用来检测模型是否正在生成未经授权的音频，即 OpenAI 设置的机制就是模型只能使用预先设置好的声音，同时还有个名为输出分类器来检测模型是否偏离了预设的声音。
无论是哪种情况只要出现 “违规” 系统应该就会进行修正，但此次红队测试的案例表明人工智能通过某种方式突破了限制，OpenAI 并未透露修正的情况，但该公司强调已经采取了安全措施用来防止再次出现这种情况。
理论上说只要出现这种问题想要彻底解决就是非常困难的，毕竟模型在长期对话中总是可能找到某种方式突破安全边界，现在缝缝补补可能也只是减少发生的概率，想要彻底杜绝应该比较困难。