OpenAI发布MedChemBench:GPT-6.2 Astra在药物化学推理测试中得分84.5%
OpenAI新基准测试评估AI分子结构与药物属性预测能力,显示结构重建强但化合物选择弱。
OpenAI发布了MedChemBench,这是一个旨在评估大语言模型在药物化学领域推理能力的基准测试。该基准包含从117篇已发表论文和专利中提取的99个问题,涵盖761种不同的分子结构。它测试四项具体能力:根据图纸重建正确的分子结构、解释实验证据、根据既定要求对化合物进行排名和选择,以及预测溶解度或代谢稳定性等数值属性。
在最高推理设置(xhigh)下,OpenAI的最新模型GPT-6.2 Astra获得了可用分数的84.5%。相比之下,GPT-6 Astra为83.3%,GPT-6.1 Sol为82.0%,GPT-5.6 Sol为58.2%。结果凸显了不同能力之间的显著差距:Astra在重建分子结构方面表现极佳,在该组件上获得了可用分数的95.4%,但在选择化合物和预测其数值属性方面表现挣扎,仅获得约一半的可用分数。
其中一个示例问题涉及癌症研究中的蛋白靶点PRMT5的抑制剂。模型被给予早期的实验数据,并被要求预测三种相关化合物在细胞效力、细胞渗透性和肝脏酶分解方面的行为。后来未提供给模型的实验揭示了权衡关系:一种化合物效力更高但渗透性更低,而另一种分解更慢。这反映了药物化学的核心挑战,即改善一个属性往往会降低另一个属性。
OpenAI指出了重要限制。这些结果并未确立模型能否发现新药或改进现实世界的实验室决策。无法排除模型此前接触过已发表来源的可能性,且每次响应均为单次尝试,没有工具、反馈或新实验。该基准测试评估的是基于历史证据的推理,而非实时药物发现工作流程。