多个国家支持的组织正在尝试使用Google的人工智能助手"Gemini"来提高工作效率,并对潜在的攻击基础设施进行研究或对目标进行侦察。威胁行动者一直试图利用人工智能工具达到攻击目的,并取得了不同程度的成功,因为这些工具至少可以缩短准备时间。
Google已发现 Gemini 活动与来自 20 多个国家的 APT 组织有关,但最突出的是来自伊朗和中国的 APT 组织。
最常见的情况包括:协助完成开发工具和脚本的编码任务、研究公开披露的漏洞、检查技术(解释、翻译)、查找目标组织的详细信息,以及寻找逃避检测、提升权限或在被入侵网络中进行内部侦察的方法。
Google称,来自伊朗、中国、朝鲜和俄罗斯的 APT 都试用过 Gemini,探索该工具在帮助他们发现安全漏洞、躲避检测和计划入侵后活动方面的潜力。 总结如下:
伊朗威胁行为者是 Gemini 的最主要用户,他们利用 Gemini 进行各种活动,包括侦察国防组织和国际专家、研究公开的已知漏洞、开发网络钓鱼活动以及为影响行动创建内容。 他们还利用Gemini进行与网络安全和军事技术(包括无人驾驶飞行器和导弹防御系统)相关的翻译和技术解释。
中国支持的威胁行为者主要利用 Gemini 对美国军事和政府组织进行侦查、漏洞研究、编写脚本进行横向移动和权限升级,以及进行破坏后活动,如逃避检测和保持网络的持久性。 他们还探索了使用密码哈希值访问 Microsoft Exchange 和逆向工程安全工具(如 Carbon Black EDR)的方法。
朝鲜APT 使用 Gemini 支持攻击生命周期的多个阶段,包括研究免费托管提供商、对目标组织进行侦察,以及协助开发恶意软件和规避技术。 他们的大部分活动都集中在北朝鲜的秘密 IT 工人计划上,利用 Gemini 起草求职申请、求职信和建议书,以虚假身份获得西方公司的聘用。
俄罗斯威胁行为者与 Gemini 的接触极少,大部分使用集中在脚本辅助、翻译和有效载荷制作上。 他们的活动包括将公开的恶意软件改写成不同的编程语言,为恶意代码添加加密功能,以及了解公开恶意软件的特定功能。 这种有限的使用可能表明,俄罗斯行动者更喜欢在俄罗斯境内开发的人工智能模型,或者出于操作安全的原因而避免使用西方的人工智能平台。
Google还提到,在观察到的案例中,威胁行为者试图利用公开越狱来对付 Gemini,或重新措辞其提示来绕过平台的安全措施。 据报道,这些尝试都没有成功。
流行的人工智能聊天机器人 ChatGPT 的创建者 OpenAI 在 2024 年 10 月披露了类似的信息,因此,Google的最新报告证实了各层次的威胁行为者对生成式人工智能工具的大规模滥用。
虽然越狱和安全绕过是主流人工智能产品的一个问题,但人工智能市场正逐渐充斥着缺乏适当保护措施以防止滥用的人工智能模型。 不幸的是,其中一些可以轻易绕过的限制也越来越受欢迎。
网络安全情报公司 KELA 最近公布了有关DeepSeek R1和阿里巴巴的 Qwen 2.5安全措施松懈的详细信息,它们很容易受到提示注入攻击,从而简化恶意使用。
Unit 42 的研究人员还展示了有效的越狱技术,以对抗 DeepSeek R1 和 V3,表明这些模型很容易被滥用于邪恶目的。