OpenClaw—AI研究OpenClaw—AI研究
  • AI动态
  • OpenClaw教程
  • 技术解读
  • 用户故事

AI 评估标准为何失灵?一位科学家试图揭开真相

AI 评估标准为何失灵?一位科学家试图揭开真相

2026年10月29日 by WoodStone

人工智能的快速发展离不开一个关键工具——评估标准(benchmark)。这些标准就像一把尺子,用来衡量 AI 模型的能力。然而,评估标准本身正面临一场信任危机。德国马克斯·普朗克智能系统研究所的计算机科学家莫里茨·哈特(Moritz Hardt)认为,这些标准不仅失灵,而且长期以来都存在根本性问题。

图1

哈特在他的新书《机器学习评估标准的兴起》中指出,评估标准是“机器学习领域最大的错误”。他以 1987 年的一个语音识别评估标准为例,当时最先进的 AI 系统在语音转文字任务中表现不佳,甚至不如简单的统计方法。这场“失败”直接导致了 AI 寒冬的到来,AI 研究的热度骤降,资金也大幅减少。

然而,评估标准也并非一无是处。2012 年,ImageNet 图像分类评估标准成为了 AI 领域的转折点。一个八层神经网络在图像分类任务中击败了其他算法,开启了深度学习革命。如今,像 GPT-6 Astra 这样的语言模型也依赖各种评估标准来证明自己的能力,从解决数学问题到发现软件漏洞,无所不包。

哈特认为,评估标准的问题在于其设计逻辑存在缺陷。传统上,评估标准应该像温度计一样,客观地反映 AI 模型的能力。但在现实中,评估标准更像是一场体育比赛或市场,参与者为了排名而竞争,评估标准本身变成了游戏规则。这种竞争导致了一个严重的问题:模型开发者在训练过程中会反复使用测试数据集,最终导致评估结果失真。

图2

哈特指出,机器学习领域长期忽视了“留出法”(holdout method)的警告,即测试数据集应该被严格隔离,仅在最终评估时使用一次。然而,许多开发者将测试数据集纳入模型的开发循环中,反复调整模型以获得更好的测试分数。这种做法使得评估标准失去了应有的客观性和可信度。

哈特认为,尽管评估标准存在缺陷,但它们并非不可救药。要让评估标准重新发挥作用,需要重新审视其设计理念和执行方式。例如,可以引入更严格的测试数据隔离机制,或者开发新的评估方法,以更准确地反映 AI 模型的实际能力。

图3

哈特还强调,评估标准的最终目标应该是推动对 AI 技术的深入理解,而不仅仅是追求高分。他表示:“评估标准的胜利其实是一种悲哀,因为这似乎意味着我们放弃了科学探索的本质——理解机制。”在他看来,AI 领域需要一种新的评估文化,既能保持对技术进步的追求,又能回归对科学原理的重视。

← 返回文章列表
分类: AI动态 标记: AI 评估, 人工智能, 技术反思, 机器学习, 深度学习

© 2026 OpenClaw—AI研究 版权所有

沪ICP备2026010690号-1