大科技公司继续不计后果地投入数十亿美元，为消费者提供人工智能助手。微软的 Copilot、Google的 Bard、亚马逊的 Alexa 和 Meta 的 Chatbot 都已经拥有了生成式人工智能引擎。苹果是少数几个似乎在慢慢将 Siri 升级为 LLM 的公司之一。它希望与本地运行而非云端运行的 LLM 竞争。
更糟糕的是，生成式人工智能（GenAI）系统，甚至像巴德（Bard）等大型语言模型（LLM），都需要大量的处理，因此它们通常通过向云端发送提示来工作。这种做法会带来一系列其他的隐私问题，并为恶意行为者提供新的攻击载体。
ComPromptMized 公司的信息安全研究人员最近发表了一篇论文，展示了他们如何创建"零点击"蠕虫，从而"毒害"由 Gemini (Bard) 或 GPT-4 (Bing/Copilot/ChatGPT) 等引擎驱动的 LLM 生态系统。蠕虫病毒是一组计算机指令，除了打开受感染的电子邮件或插入U盘外，用户几乎不需要采取任何行动，就能隐蔽地感染多个系统。任何 GenAI 供应商都没有防范措施来阻止此类感染。不过，将这种病毒引入 LLM 数据库则比较棘手。
研究人员想知道"攻击者能否开发恶意软件，利用代理的 GenAI 组件，对整个 GenAI 生态系统发动网络攻击？"简短的回答是肯定的。
ComPromptMized 创建了一个蠕虫病毒，他们称之为莫里斯二世（Morris the Second，简称 Morris II）。莫里斯二号使用通俗易懂的"对抗性自我复制提示"，诱骗聊天机器人在用户之间传播蠕虫病毒，即使他们使用不同的 LLM。
"这项研究表明，攻击者可以在输入中插入此类提示，当 GenAI 模型处理这些输入时，会促使模型将输入复制为输出（复制），并从事恶意活动（有效载荷），"研究人员解释说。"此外，这些输入还能利用 GenAI 生态系统内的连通性，迫使代理将其传递（传播）给新的代理"。
为了验证这一理论，研究人员创建了一个孤立的电子邮件服务器，用于"攻击"由 Gemini Pro、ChatGPT 4 和开源 LLM LLaVA 支持的 GenAI 助手。然后，ComPromptMized 使用了包含基于文本的自我复制提示和嵌入相同提示的图片的电子邮件。
这些提示利用了人工智能助手对检索增强生成（RAG）的依赖，也就是从本地数据库之外获取信息的方式。例如，当用户询问"Bard"阅读或回复受感染的电子邮件时，它的 RAG 系统就会将内容发送给Gemini专业版，以便做出回复。然后，Morris II 复制到 Gemini 上，并执行蠕虫的有效载荷，包括数据外渗。
这项研究的合著者本-纳西博士说："生成的包含敏感用户数据的响应被用于回复发送给新客户的电子邮件时，会感染新的主机，然后存储在新客户的数据库中。"
不仅如此，基于图像的变种可能更加难以捉摸，因为提示是不可见的。黑客可以将其添加到看似无害或预期的电子邮件中，如伪造的时事通讯。然后，蠕虫就可以利用助手向用户联系人列表中的每个人发送垃圾邮件，汲取数据并将其发送到 C&C 服务器。
纳西说："通过将自我复制提示编码到图片中，任何包含垃圾邮件、滥用材料甚至宣传内容的图片都可以在最初的电子邮件发送后被进一步转发给新客户。"
他们还可以从邮件中提取敏感数据，包括姓名、电话号码、信用卡号、社会保险号或"任何被视为机密的数据"。ComPromptMized 在发布其工作之前通知了Google、Open AI 等公司。
如果说 ComPromptMized 的研究表明了什么的话，那就是大科技公司可能需要放慢脚步，放远目光，以免我们在使用他们所谓和善的聊天机器人时，需要担心新的人工智能驱动的蠕虫和病毒。