OpenClaw—AI研究德国莱比锡大学与马克斯·普朗克研究所联合团队 6 月 4 日在 arXiv 发布全新 AI 基准测试 Leipzig-Bench,首次把长期记忆容量、多轮推理深度、工具调用稳定性三个长期被业界忽略的维度纳入主流评测体系。这套基准在 Hacker News 引发广泛讨论,被称为是 2026 年最值得关注的 AI 评估方法论突破,可能改变未来一年基础模型的训练方向。
Leipzig-Bench 的设计动机是当前主流基准如 MMLU、HumanEval、GSM8K 已经出现明显饱和。GPT-5.5、Claude Opus 4.5、Gemini 3.5 Pro 在这些基准上得分普遍超过 95%,无法有效区分模型能力差异。研究者认为业界需要把评测重点从知识记忆转向复杂任务执行,这一观点与近期 Anthropic 公开的 AGI 评估方法论高度一致。
图1是 Leipzig-Bench 的三大评测维度拆解,每个维度下设 5-8 个细分子任务,总计包含 2400 个测试场景,平均每个场景需要模型连续执行 30-100 步操作才能完成。
长期记忆维度测试模型在长达 100 轮对话后能否正确调用 10 小时前用户提到的关键信息,目前主流模型的平均准确率仅为 41%。多轮推理维度要求模型在 50 步以上的逻辑链中保持结论一致,这一项当前所有主流模型的得分都低于 60 分。工具调用稳定性维度评估模型连续调用 1000 次外部 API 时的错误恢复能力,目前 Claude Opus 4.5 以 78 分领跑。
图2是当前主流模型在 Leipzig-Bench 三个维度的得分雷达图,可以清晰看到各家短板,GPT-5.5 在工具调用稳定性上失分明显,Claude Opus 4.5 在长期记忆维度领先,Gemini 3.5 Pro 多轮推理最强。
研究者还透露,Leipzig-Bench 的题库全部来自医学、法律、编程三个高门槛领域的真实场景,确保评测结果对实际应用有指导意义。题目经过专家委员会严格审查,避免被模型训练数据污染。题库采用滚动更新机制,每季度替换 20% 的题目,防止模型针对特定题库进行过拟合优化。
图3是 Leipzig-Bench 评测工具的 Web 界面,研究者可以提交模型 API key 进行自动化测试,平台也支持自托管部署,方便对内部模型进行评估。
OpenAI、Anthropic、Google 的研究人员对 Leipzig-Bench 总体表示欢迎,但也指出该基准对模型上下文窗口要求极高,任何低于 200K token 窗口的模型都无法参与长期记忆维度的公平评测。这实际上对中小模型厂商不够友好,可能加剧头部集中,对此研究者表示未来会推出针对小模型的轻量版 Leipzig-Bench-Lite。
Leipzig-Bench 的代码、数据集、评分脚本全部在 GitHub 开源,研究者欢迎社区贡献新题目和评测维度,目前已经有 12 个国家的 40 多所高校和机构表示参与后续维护,有望成为 MMLU 之后最被广泛使用的 AI 评估标准之一。