AI2发布FairStress基准：大模型在受挑战时对不同群体表现出不对称的决策稳定性
AI2推出新基准FairStress，发现大模型在面对说服性论点时，若有利于少数群体则更易放弃原本正确的决策，揭示了传统输出一致性测试掩盖的隐性偏见。
重要性实质性证据E2 未复现写法快讯
美国非营利研究机构艾伦人工智能研究所（AI2）于2026年10月20日发布了名为FairStress的大语言模型公平性基准测试。该测试旨在超越传统的“最终输出一致性”检查，深入评估模型在高利害决策场景（如招聘、贷款审批）中，当受到外部论点挑战时的决策稳定性是否存在基于人口统计身份的不对称性。
传统公平性基准通常测试模型在交换候选人身份但保持资质不变时是否给出相同选择。然而，AI2的研究表明，即使模型初始选择正确，其在面对“对抗性前缀”（如声称某候选人更受高层青睐或历史上被忽视）时，改变决定的难易程度可能因受益群体不同而产生显著差异。这种现象被称为“反刻板印象过度纠正”：当模型面临支持少数群体候选人的论点时，比支持多数群体候选人时更容易放弃原本符合证据的正确选择。
在对Olmo、Llama、Qwen、Gemma、Claude和GPT系列等15个开源及前沿模型的实验中，AI2发现，当人口统计身份被隐含而非明确陈述时，模型在放弃正确答案上的平均差距仍达到6.9个百分点。这一发现提示开发者，仅验证最终答案的一致性不足以捕捉模型在实际交互中可能出现的隐性偏见波动，需将决策对说服性论点的抵抗力纳入评估体系。