OpenClaw—AI研究一篇在NeurIPS 2025上受到关注的论文《The Leaderboard Illusion》指出，主流AI排行榜存在结构性缺陷，使公开排名难以真实反映模型的实际能力。
论文作者系统分析了LMSYS Chatbot Arena等开放评测平台，发现厂商可以在非公开条件下测试多个模型变体，然后只公布成绩最好的那个版本，其他版本的失败记录则不会出现在榜单上。
这种私下试错、公开最优的做法并不违反平台规则，却让排行榜更像展示窗口而非公平竞技场，后来者难以获得同等曝光机会，资源也会进一步向头部厂商集中。
另一类问题是测试集污染。当评测题目或近似内容出现在训练数据中，模型可能是在复述答案，而非展现真正的推理与泛化能力，分数越高反而越具误导性。
排行榜的投票者结构同样会带来偏差。普通用户更偏好篇幅长、格式漂亮或语气讨喜的回答，这会系统性抬高擅长讨好用户的模型，而与真实任务能力关系不大。
结果是，基准分数与企业实际使用体验经常脱节。采购方若只依据榜单选型，可能在成本、延迟或特定领域表现上误判，最终为不适合的模型付出高昂代价。
为此，研究者呼吁评测透明化：公开模型版本、测试次数、数据来源与完整评测协议，并引入独立的第三方复核机制，让评测过程可以被检查和复现。
也有学者认为榜单仍有参考价值，只是应当被当作信号之一，而不是唯一结论，更不应成为营销话术的核心依据，用户需要结合自身场景做小规模验证。
一些机构已经开始尝试新的评测方式，例如用真实企业任务、多轮工具调用和成本约束来考察模型，这类评测更贴近生产环境，但构建成本也更高。
归根结底，基准测试衡量的是模型在特定条件下的表现，而不是真正的智能。要让评测重新有意义，透明与独立比分数本身更重要。