FairStress基准

美国艾伦人工智能研究所（Ai2）于2026年10月20日发布名为FairStress的新基准，旨在评估大语言模型在高风险决策场景中的“对称公平性”。与传统仅检查最终输出是否随人口统计特征变化而改变的测试不同，FairStress通过引入“对抗性前缀”（即针对某一候选人的说服性论点），测量模型在面对压力时放弃原本正确决策的稳定性。

研究发现，当证据支持某位候选人时，若该候选人为少数群体编码身份，模型更容易因外部论点而改变决定。在涵盖招聘、医疗、贷款等29个领域的300个场景中，扩展至超过1300万个测试用例后，数据显示：在隐含身份信息下，模型平均有6.9个百分点更倾向于放弃有利于少数群体的正确决策；在明确标注身份时，这一差距扩大至9.3个百分点。这种现象被Ai2称为“反刻板印象过度纠正”，表明模型可能为了规避传统偏见而矫枉过正。

尽管尝试了九种去偏干预措施，大多数未能可靠消除这种不对称性，仅“反事实思维链”能在保持准确率的同时缩小差距。这一结果挑战了现有的公平性审计标准，提示仅靠交换姓名或标签的简单测试不足以发现隐性风险。【背景】Ai2已将FairStress集成到其开源评估工作台Olmo-eval中，供开发者使用。