基准指标失准,基因扰动深度模型或被低估
常用扰动预测指标失准,校准后深度模型可胜基线,评估口径需重看。
重要性局部证据E3 可检验写法快讯
读者现在可以知道:常用基因扰动预测基准指标失准——在14个数据集、18个指标上引入正负对照后,测出这些指标对真实扰动信号不敏感,深度学习模型在校准后可胜过无信息基线。
此前多项基准发现简单的均值基线在MAE、MSE等指标上不输甚至超过深度模型,一度让人怀疑虚拟筛选路线不可行。
《自然·生物技术》10月1日发表的同行评审论文给出动态范围分数(DRF)这一校准度量,并公开了代码。结论限于指标校准后的相对表现,模型能否达到可用的预测精度仍是另一回事。