OpenClaw—AI研究OpenClaw—AI研究
  • AI动态
  • OpenClaw教程
  • 技术解读
  • 用户故事

AI 基准测试大揭秘:模型分数背后的真相

AI 基准测试大揭秘:模型分数背后的真相

2026年10月29日 by WoodStone

人工智能领域的发展日新月异,各种模型层出不穷,而评估这些模型性能的标准就是 AI 基准测试。基准测试是一套固定的问答或任务集,对所有模型采用相同的评分标准。表面上,这些分数似乎为模型间的比较提供了客观依据,但实际情况要复杂得多。

图1

以 2026 年 2 月为例,OpenAI 停止报告其在 SWE-bench Verified 上的分数,这是因为在对该基准的 138 个难题进行审计时,发现其中 59.4% 的测试或描述存在问题。GPT-5.2、Claude Opus 4.5 和 Gemini 3 Flash 等模型甚至能够凭借记忆复现参考修正答案,而在更难的 SWE-bench Pro 上,这些模型的表现却只有约 23%。这表明,基准测试本身可能存在缺陷,模型的高分未必代表真正的能力。

基准测试就像一场公开考试,一旦题目公开,它们就可能成为模型训练数据的一部分。这意味着模型在考试中展现的可能是记忆能力,而非真正的技能。例如,GPQA Diamond 原本是一个高难度的测试,但如今顶尖模型在该测试的 Diamond 子集上得分已超过 96%,而领域专家在测试创建时的得分仅为 65%。这种饱和现象使得基准测试难以区分顶尖模型。

目前,常见的基准测试包括 Humanity’s Last Exam (HLE)、GPQA Diamond、MMLU-Pro、SWE-bench Verified 等。HLE 包含 2500 个跨 100 多个学科的专家编写问题,但不同评分者和问题子集会导致分数差异,且部分答案存在争议。GPQA Diamond 侧重于研究生级别的科学知识,但已趋于饱和。MMLU-Pro 和 SWE-bench Verified 也面临类似问题。

图2

除了单一基准测试,复合指数和偏好竞技场也是评估模型的重要方式。Artificial Analysis 的 Intelligence Index 融合了十个评估指标,但其权重会随着测试的饱和而调整。LMArena(现称 Arena)则通过让人们比较两个匿名答案来评估模型,更能反映用户的偏好,但正确性证据较弱。

在评估模型时,评分规则同样重要。单纯计算正确率的规则会鼓励猜测,而对错误答案进行惩罚的规则则更看重准确性。例如,在 100 个问题中,模型 A 答对 60 个,答错 40 个;模型 B 答对 55 个,答错 5 个,40 个选择放弃。在纯正确率上,A 更胜一筹;但在惩罚错误答案的规则下,B 则更占优势。

图3

因此,在面对 AI 基准测试的分数时,我们需要保持谨慎。首先要明确测试的具体内容和评分规则,其次要了解测试的运行方和发布时间,并考虑测试是否可能存在缺陷。正如阅读公司财务报表一样,解读 AI 基准测试也需要仔细分析各项细节,才能得出更准确的结论。

← 返回文章列表
分类: AI动态 标记: AI 基准测试, 人工智能, 技术解读, 模型评估

© 2026 OpenClaw—AI研究 版权所有

沪ICP备2026010690号-1