随着人工智能助手越来越多地融入我们的日常生活,如何确保它们在开放的网络环境中安全运行成为一大挑战。Anthropic 最新发布的 Claude Opus 4.5 模型在这方面取得了重要进展,其在抵御浏览器环境下的恶意指令攻击方面表现尤为突出。

所谓的恶意指令攻击(prompt injection),是指攻击者将隐藏的指令嵌入网页内容中,诱导 AI 助手执行未经授权的操作。例如,当 AI 助手浏览邮件时,一封看似普通的供应商邮件可能包含隐藏的文本指令,指示助手将包含“机密”字样的邮件转发到外部地址。这种攻击不仅威胁用户隐私,还可能造成严重的数据泄露。
浏览器环境为恶意指令攻击提供了更大的可乘之机。首先,攻击面非常广泛,包括网页、嵌入的文档、广告以及动态加载的脚本,都可能成为恶意指令的载体。其次,浏览器中的 AI 助手可以执行多种操作,如导航网页、填写表单、点击按钮和下载文件,这些功能一旦被攻击者控制,后果不堪设想。
为了应对这些挑战,Anthropic 在 Claude Opus 4.5 中引入了多项改进措施。通过强化学习技术,Claude 在训练过程中不断接触模拟的网页恶意指令,并学会识别和拒绝执行这些指令,即使这些指令被设计得看起来很权威或紧急。此外,Anthropic 还改进了用于检测恶意指令的分类器,能够识别隐藏文本、操纵图像和欺骗性用户界面元素等多种形式的攻击。

除了技术层面的改进,Anthropic 还加大了人工安全测试的力度。内部安全团队不断对浏览器助手进行漏洞探测,并参与行业级的安全挑战赛,以测试其在各种攻击场景下的表现。这些努力使得 Claude Opus 4.5 在抵御恶意指令攻击方面比之前的版本有了显著提升。
尽管取得了这些进展,Anthropic 强调,浏览器环境下的恶意指令攻击仍然是一个需要持续关注和研究的问题。目前,1% 的攻击成功率仍然代表着不可忽视的风险。Anthropic 表示,将继续投入资源进行安全研究,并透明地分享其进展,以帮助用户做出明智的部署决策,并推动整个行业在这一关键领域的投资。

未来,AI 助手在处理高价值任务时,如何在开放的网络环境中保持安全,将是一个长期挑战。Anthropic 的目标是开发出能够安全可靠地执行复杂任务的 AI 代理,为用户和企业提供更强大的安全保障。
OpenClaw—AI研究