查看原文
其他

研究员开发出AI蠕虫,可在AI系统之间自动传播

Divya 代码卫士 2024-07-14

 聚焦源代码安全,网罗国内外最新资讯!

编译:代码卫士


 研究人员开发出首个第一代生成式AI蠕虫,名为 “Morris II”,它能够自动在AI系统之间传播。

这种新型网络攻击,让人回忆起1988年对互联网造成重大破坏的初代Morris 蠕虫的,凸显了网络安全威胁局势中的一个潜在变化。

这项研究由康奈尔大学纽约科技校区研究员 Ben Nassi与另外两名研究员 Stav Cohen 和 Ron Bitton 共同牵头开展,展示了该蠕虫的能力即渗透生成式AI邮件助手、提取数据和分垃圾邮件,从而攻陷声名鹊起的AI模型如 ChatGPT 和 Gemini 的安全措施。





生成式AI的崛起和漏洞的增多



随着生成式AI系统如 OpenAI 公司的 ChatGPT 和谷歌 Gemini 变得越来越强大且集成到多种应用中,这些系统被利用的可能性也在不断提升。

研究人员创建的 Morris II 蠕虫凸显了利用AI生态系统互联性和自动化的新型网络威胁。媒体Wired报道称,首批生成式AI蠕虫已开发完毕。这些蠕虫可能会从一个系统传播到另一个系统,甚至可能在此过程中窃取数据或部署恶意软件。通过应用对抗性自复制提示,该蠕虫可通过AI系统进行传播,劫持这些系统执行未授权操作如数据盗取和恶意软件部署。

这类蠕虫影响深远,为依赖于生成式AI系统的初创企业、开发人员和技术公司带来重大风险。该蠕虫能够躲避检测,在不同的AI系统中自动传播,这就为网络攻击引入一个新的向量,为现有的安全模型带来挑战。

安全专家和研究人员强调了这些攻击的合理性以及开发社区认真对待这些威胁的紧迫性。





缓解威胁



尽管AI蠕虫潜力强大,但安全专家认为传统的安全措施和谨慎的应用设计可缓解这些风险。

从事AI企业安全业务的威胁研究员 Adam Swanda 提倡安全的应用设计和AI运营中人工疏忽的重要性。越权风险可通过确保AI系统不会在未获得明确同意的情况下执行操作会得到大大减少。另外,监控异常模式如在AI系统中的重复性提示有助于在早期检测到潜在威胁。

Ben Nassi及其团队还强调了创建AI助手的开发人员和企业意识提升的重要性。了解这些风险并执行健壮的安全措施对于防止生成式AI系统的利用至关重要。

这一研究呼吁AI开发社区在设计和部署AI生态系统中优先考虑安全的重要性。Morris II蠕虫的开发是评估网络威胁流程中的重要时刻,强调了生成式AI系统的内在漏洞。随着AI对技术和日常生活的影响日益加剧,全面的安全策略也变得愈发重要。通过提升意识和采取主动的安全措施,AI开发社区可防御AI蠕虫的威胁并确保生成式AI技术能得到安全、负责任的使用。



代码卫士试用地址:https://codesafe.qianxin.com
开源卫士试用地址:https://oss.qianxin.com









推荐阅读

FTC 推出AI声音克隆欺诈检测挑战赛,最高奖励2.5万美元

OpenAI 推出的 ChatGPT 数据泄露漏洞补丁不完整

CISA 和NCSC 联合发布关于保护AI系统开发安全新指南

谷歌发布漏洞奖励计划和其它举措,保护AI安全



原文链接
https://gbhackers.com/created-ai-worm/

题图:Pixabay License


本文由奇安信编译,不代表奇安信观点。转载请注明“转自奇安信代码卫士 https://codesafe.qianxin.com”。




奇安信代码卫士 (codesafe)

国内首个专注于软件开发安全的产品线。

    觉得不错,就点个 “在看” 或 "赞” 吧~

继续滑动看下一个
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存