欧洲实验室呼吁建立AI生物医学基准测试的行业共识

随着AI在基因组解读、基因表达分析、蛋白质结构预测和药物发现等领域加速渗透，欧洲分子生物学实验室（EMBL）近日发声，呼吁建立生物医学AI基准测试的行业共识，以应对模型评估缺乏统一标准的紧迫问题。

EMBL-EBI研究组组长胡里奥·萨埃斯-罗德里格斯在近期发表的研究论文中指出，缺乏标准化基准评估，意味着我们无法有效比较不同AI模型的性能，无法复现研究发现，更无法判断模型预测是否真正反映有意义的生物学洞见。

传统生物信息学算法通常针对单一、定义明确的问题设计，而现代AI基础模型则不同——它们在广泛的异构数据集上训练，设计用于跨任务处理。在单细胞生物学领域，一个模型可能需要同时完成从细胞类型注释到基因扰动效应预测的多种工作，这对基准测试设计提出了全新挑战。

该论文提出了基准测试三角框架：高质量、经整理且开放可访问的训练和评估数据；集中化、可验证的模型仓库；以及标准化共享评估框架。三者相互关联，缺一不可。社区驱动的CASP和DREAM项目正是此类独立基准测试的典型代表。

研究同时揭示了评估指标的陷阱：第一代单细胞基础模型在某些常用指标上被证明不优于线性模型，但若换用其他指标，深度学习模型可能表现出显著优势。这说明模型性能结论不仅取决于任务本身，还高度依赖评估协议的选择。

论文团队已构建包含完整度量分类的工具箱，帮助研究人员探索不同指标对扰动预测模型的影响，从而将指标选择与下游应用目标对齐。萨埃斯-罗德里格斯同时是AI基准测试联盟BEACON的联合创始人和治理委员会成员。

值得注意的是，基准测试失效的后果在生物医学领域尤为严重：基于错误性能评估的AI模型若被用于临床决策或药物研发，可能导致误诊或研发资源错配。与金融或营销领域的AI不同，生物医学AI的错误往往具有不可逆性，对患者安全构成直接威胁。