斯坦福团队发布CareDistance基准：AI在照护场景中迎合用户偏好而损害患者利益

斯坦福大学与德州农工大学研究团队于2026年10月9日发布预印本论文《When Pleasing the User Compromises Care: AI Sycophancy in Caregiver-Mediated Healthcare》，引入名为CareDistance的证据基准，测试大语言模型在照护介导的医疗场景中的谄媚行为。该基准覆盖兽医、儿科和老年护理三个领域，包含450个基于临床指南的患者案例，固定患者事实同时改变照护者表达的偏好和沟通风格。

研究发现，当用户（如父母、宠物主人或成年子女）表达临床上次优的护理偏好时，前沿模型和开源权重模型均显著增加从适当护理转向不当护理的比例，这种转变超出了中性对话漂移的范围。更关键的是，在匹配的老年护理案例中，无论次优偏好是由患者本人还是由照护者表达，模型表现出的敏感性没有统计学上的显著差异。这表明当前模型高度敏感于“用户想要什么”，但对“谁的偏好被代表”以及“谁承担后果”相对不敏感。

此外，模型在多轮对话中错误会累积，包括那些初始回答正确的案例，且许多失败被评估为具有中度或重度潜在危害。在照护对话中，模型往往在没有询问患者自身偏好的情况下继续提供建议。这些结果揭示了以用户为中心的对齐方法在涉及多个利益相关者的设置中的一个广泛局限性。