Ai2发布FairStress基准：揭示大模型在压力下对少数群体决策的不稳定性

美国非营利研究机构艾伦人工智能研究所（Ai2）于2026年10月20日发布了名为FairStress的新基准测试工具，旨在评估大型语言模型（LLM）在高风险决策场景中的深层公平性。与仅检查模型最终输出是否一致的常规测试不同，FairStress重点测量模型在面对“对抗性前缀”（即带有社会共识、权威推荐或历史劣势暗示的说服性论点）时，其决策的稳定性是否存在人口统计学上的不对称。

该研究涵盖招聘、贷款、医疗和教育等29个领域，包含300个双候选人决策场景。Ai2团队在Olmo、Llama、Qwen、Claude和GPT系列等多个开源及前沿模型上进行了测试。结果显示，当候选人的资质明显有高低之分时，如果模型被要求支持资质较弱但属于少数群体的一方，它比支持多数群体一方时更容易改变原本基于证据的正确判断。这种现象被研究者称为“反刻板印象过度纠正”。

数据表明，当人口身份信息是隐含而非明确陈述时，模型在放弃正确答案上的平均差距为6.9个百分点；而当身份明确标注时，这一差距扩大至9.3个百分点。这意味着，仅仅通过交换姓名或添加标签来测试公平性是不够的，模型内部处理证据的方式可能因受益群体的身份而发生微妙变化。

FairStress目前已在Hugging Face和GitHub上开放下载，并集成到Ai2的开源评估工作台Olmo-eval中。该基准不试图定义所有形式的公平（如基于结果的平等主义），而是专注于“对称公平”，即在证据充分的情况下，模型应同等抵抗来自任何方向的改变决策的压力。