亚马逊云科技AWS近日发布了一项名为欺骗基准的AI安全评测结果,重点考察AI模型在漏洞检测任务中的真实可用性。评测最引人关注的结论,是假阳性问题远比想象中严重,直接影响这类工具能否进入生产流程。

这套基准的设计思路颇具针对性:研究人员在代码库中植入看似存在漏洞、实则安全的诱饵代码。一个真正可用的检测模型,应当能够识别出这些陷阱并保持克制,而不是见到可疑模式就报警,这种克制恰恰是工程落地的前提。
评测结果显示,部分模型会把高达99%的安全代码误判为存在漏洞。这意味着在企业真实环境中,安全团队将面对大量无效告警,真正的高危漏洞反而可能被淹没在噪声里,修复优先级也随之被打乱。
问题的根源在于模型的判断倾向与训练数据。为了不漏报,许多模型被优化为宁可错报,而公开训练数据与企业的私有代码分布在风格和依赖上都存在明显差异,模型在实验室之外的表现因此大打折扣。

高假阳性带来的代价是双重的。一方面,安全工程师的精力被大量消耗在逐条排查上;另一方面,长期的告警疲劳会降低团队对真实威胁的敏感度,这比单次漏报更加危险,也更难通过技术手段量化。
因此,评估AI漏洞检测工具不能只看发现了多少漏洞,还要看假阳性率、在复杂代码库中的稳定性,以及运行效率。缺少这些维度,准确率数字很容易被高估,采购决策也可能因此偏离实际需求。
对采购和落地方而言,更务实的做法是把基准测试纳入选型门槛:用自家代码做小范围验证,结合多种工具交叉确认,并保留严格的人工复核环节。AI负责筛选,人负责定论,两者缺一不可。

AI漏洞检测正从能不能发现走向值不值得信任。AWS这套基准的价值,不在于给出排名,而在于把假阳性这一长期被忽视的成本摆上台面,推动行业用更严格的标准衡量模型,也让买方拥有更清晰的判断依据。
OpenClaw—AI研究