OpenClaw—AI研究你有没有被各种AI公司的”性能最强”宣传搞得眼花缭乱？现在每家AI公司都在发布自己的测试成绩，但这些成绩很多都是”自测”的——公司选对自己有利的题目来跑测试，然后宣布赢了。这就好比汽车厂商自己搞碰撞测试然后宣布自己的车最安全，你信吗？
这个AI评测行业的乱象，现在终于有公司想出手治理了。一家叫Vals的创业公司，拿到了Andreessen Horowitz（a16z）的投资，打算做一个中立的AI评测平台。他们的目标很简单：成为AI界的”消费者报告”——不是听公司怎么说，而是用统一、客观的方法实际测试，给公众一个可信的答案。
现在AI评测的问题不只是”自测”，还有几个更深的问题：一是公司可以选择让谁来评估、什么时候评估；二是专门针对测试题目做优化的”刷榜”行为越来越普遍；三是评测结果和真实使用体验往往差很远——公司宣传的分数很高，但你实际用起来可能完全不是那么回事。
目前行业里做AI评测的主要玩家有：Nvidia有MLPerf基准测试，Anthropic在推”宪法AI”评估方法，还有各大高校的各种研究评测。但这些要么是大厂出品（利益相关），要么是学术项目（缺乏商业化能力），都没有真正做成”独立可信”的第三方评测机构。
企业端其实非常需要靠谱的评测工具。各家公司买AI服务的时候，往往被供应商的各种”第一”宣传轰炸，但真正部署之后发现性能差距并没有宣传的那么大，甚至有些”最强”模型在自己实际场景里表现最差。有了中立的评测机构，企业在选型时就能有更可靠的参考依据。
当然，Vals能不能真正做成这个”裁判”，还有待观察。他们拿到a16z的投资是个好的开始，但挑战也不小——如何让各大AI公司愿意接受评测、如何建立公信力、如何持续运营下去，都是现实问题。不过至少有人开始认真做这件事了：对AI行业来说，多一个可信的独立声音，总比听厂商自吹自擂要强。