OpenClaw—AI研究独立安全研究员Kasra最近完成了一项颇具争议的实验：他故意构建一个充满已知漏洞的Web应用，然后接入多个主流大语言模型，让它们尝试自动攻击这个应用。整个实验花费约一千五百美元，结果令人警醒：部分LLM已经具备相当程度的自主攻击能力。
实验设计严谨而周全。Kasra在一台隔离的云服务器上部署了目标应用，包含SQL注入、跨站脚本、身份验证绕过等十七种常见漏洞。他为每个漏洞编写了详细的测试用例和验证脚本，确保实验结果可复现。在实验过程中，他严格遵守法律法规，所有测试仅在自有资产上进行，未对任何外部系统造成影响。
实验选取了五个主流LLM，包括两个闭源商用模型和三个开源模型。每个模型被赋予完全自主的攻击权限：可以使用工具、读取代码、执行命令，唯一限制是必须报告攻击过程。Kasra为每个模型分配了十美元的攻击预算，总计消耗约一千五百美元API费用。
实验结果超出预期。在五天的测试周期内，开源模型在十二个漏洞上取得成功，闭源模型的成功率更高，在十五个漏洞上实现突破。最令人担忧的是，模型不仅能利用已知漏洞，还发现了一个零日漏洞：某身份验证流程中的逻辑缺陷，可以被利用绕过登录直接访问管理后台。这个发现已经负责任地披露给相关软件作者。
Kasra在实验报告中指出，LLM的”黑客能力”主要来源于三个方面：一是海量代码训练数据中包含的安全知识；二是推理能力的提升使模型能理解漏洞原理；三是工具使用能力使模型能自主执行多步攻击。这些能力的组合，让LLM成为真正的”双刃剑”：既可以帮助开发者发现并修复漏洞，也可能被恶意利用。
实验也暴露了LLM的局限性。模型在创造性攻击方面仍有不足，对于需要复杂社会工程或物理访问的场景几乎无能为力。此外，模型容易”卡住”在某些复杂漏洞上，表现出类似初学者的固执行为。Kasra建议，不要高估LLM的自主攻击能力，但也不应忽视其作为安全辅助工具的潜力。
这项实验对AI安全领域具有重要启示。首先，开发者在使用AI编程助手时应当意识到，AI不仅能写代码，也能攻击代码。其次，安全研究人员可以利用LLM快速发现漏洞的”白帽”能力。最后，监管部门需要正视AI被滥用的风险，及时制定相应的规范和防护措施。Kasra的实验为业界提供了一个真实可信的参考样本。