OpenClaw—AI研究最新发布的法律 AI 基准测试报告显示,法律 AI 产品的真实能力与其品牌名称存在显著差异。这项研究由斯坦福大学法学院和 CodeX 未来法律研究所联合进行,分析了 15 款主流法律 AI 产品在 8 个核心法律任务上的表现,得出了颠覆行业认知的结论。
研究的核心发现是:法律 AI 产品的品牌认知度与实际能力不匹配。具体表现为:一是部分高知名度品牌产品实际能力被高估,在复杂法律任务上表现不佳;二是部分新兴品牌产品实际能力被低估,在特定法律任务上表现优异;四是用户对法律 AI 产品能力的判断往往基于品牌而非实际测试结果。
研究采用的 8 个法律任务包括:法律检索、合同审查、法律文书起草、案例分析、法规解读、法律咨询、诉讼策略、跨境法律事务。每个任务设计了 50-100 个真实法律场景测试,邀请 200 位法律专家对 AI 输出进行评分。结果显示,不同产品在各个任务上的表现差异巨大,即使是综合排名第一的产品,在某些特定任务上也可能排名靠后。
研究者将 15 款法律 AI 产品分为三个梯队:第一梯队是综合能力强劲且各任务均衡的产品,包括 Harvey、CoCounsel、Spellbook 等 5 款;第二梯队是在特定任务上表现优异但在综合能力上有短板的产品,包括 6 款;第三梯队是综合能力较弱或在多个任务上表现不佳的产品,包括 4 款。
研究还分析了不同法律 AI 产品的技术路径差异。Harvey 等产品采用通用大模型微调路径,具备较强的综合能力但在专业深度上有局限;CoCounsel 等产品采用专业法律知识图谱路径,在法律检索和案例分析上表现优异但在通用任务上较弱;Spellbook 等产品采用合同专用 AI 路径,在合同任务上表现优异但在其他任务上较弱。
研究者提出了法律 AI 产品选择的五个建议:一是明确需求场景,根据实际使用场景选择合适的产品;二是实地测试,在采购前进行小范围测试验证产品能力;三是关注长期能力,而不是被营销宣传误导;四是评估集成能力,确保 AI 产品能够与现有法律工作流程集成;五是考虑数据安全,法律数据敏感性强,需要确保 AI 产品的数据安全。
斯坦福法学院教授 Percy Liang 表示:法律 AI 市场存在严重的信息不对称,用户难以准确评估产品的真实能力。我们希望通过基准测试,为法律从业者提供客观的参考依据。法律 AI 的发展需要建立在真实能力基础上,而不是营销宣传上。展望未来,法律 AI 基准测试将成为行业标准,推动整个行业的健康发展。