基准指标失准,基因扰动深度模型或被低估
同行评审论文指常用扰动预测指标失准,校准后深度模型可胜基线,评估口径需重看。
《自然·生物技术》10月1日发表同行评审论文称,常用基准指标失准,深度学习基因扰动模型在校准后可胜过无信息基线。
此前多项基准发现简单的均值基线在MAE、MSE等指标上不输甚至超过深度模型,一度让人怀疑虚拟筛选路线不可行。这篇论文在14个数据集、18个指标上引入正负对照,测出常用指标对真实扰动信号不敏感。
作者同时给出动态范围分数(DRF)这一校准度量,并公开了代码。结论限于指标校准后的相对表现,模型能否达到可用的预测精度仍是另一回事。
信息源:https://www.nature.com/articles/s41587-026-03307-w?code=4f3fcff5-c696-4b1b-8d0e-e14db5f5dc0b&error=cookies_not_supportedhttps://github.com/shiftbioscience/Perturbation-Models-Outperform-Baselineshttps://www.nature.com/articles/s41587-026-03307-w?code=b11dba9d-e21c-44d4-99ed-23e2f753ca58&error=cookies_not_supported