大模型认知偏差安全
5 steps1 pieces4 Sources
大语言模型（LLM）在自动化代码漏洞检测中表现出显著的人类认知偏差易感性，这一特性正成为可被黑盒攻击利用的安全隐患。IEEE S&P 2027接收的最新研究证实，通过操纵作者身份、任务框架或先前结果等非代码上下文，即可触发模型的“光环效应”、“框架效应”和“锚定效应”，导致其对同一代码做出截然不同的安全判定。实验显示，这种认知干扰可使已检出的漏洞抑制率高达97%，意味着依赖LLM进行安全审查的系统存在系统性漏报风险。
此前研究多聚焦于模型对通用决策任务的偏差模拟，而新发现揭示了这些心理捷径在安全关键场景中的双向影响：既可能产生建设性误判，也可能被恶意构造为对抗性攻击向量。争议在于，当前防御机制主要关注提示词注入或算法篡改，却忽视了模型内部固有的认知启发式如何被外部元数据无声地劫持。要解决此问题，需建立针对非代码上下文的鲁棒性评估标准，并探索在推理过程中隔离认知干扰的技术路径。
How it got here
清华大学硕士论文《大语言模型的认知偏差研究》指出，LLM在决策任务中表现出与人类相似的认知偏差，且参数规模越大，偏差越明显。
newetds.lib.tsinghua.edu.cn ↗《心理科学》发表研究，证实Gemini 1.5 Pro和DeepSeek均易受框架效应影响，且DeepSeek表现出对正面信息的确认偏误。
jps.ecnu.edu.cn ↗arXiv预印本《Words Speak Louder Than Code》首次系统探索LLM代码漏洞检测中的认知启发式，提出黑盒攻击概念。
arxiv.org ↗另一项研究提出“CogBias”框架，证明通过位翻转攻击（BFA）可在不破坏功能的前提下向LLM注入特定认知偏见。
arxiv.org ↗IEEE S&P 2027接收论文更新版本，量化了八款主流LLM的 susceptibility：框架效应最高达33.2%，攻击可抑制97%检出率。
arxiv.org ↗
What is still unsettled
- 如何在CI/CD流程中有效过滤或中和来自提交者身份、历史评论等非代码上下文的认知干扰信号？
- 现有的红队测试工具是否已包含针对“光环效应”和“锚定效应”的专项攻击模块，还是仍局限于传统提示词注入？