阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯专题 · 大模型认知偏差安全1 分钟阅读·2026-10-17DisconfirmAI 编辑部

IEEE S&P论文:大模型代码漏洞检测受认知偏差影响,攻击可抑制97%检出率

新研究证实大模型在代码安全审查中易受作者身份、任务框架和先前结果等认知启发式影响,存在被黑盒攻击利用的风险。

重要性实质性证据E2 未复现写法标准

原文发布时间 2026-10-16 12:00

普渡大学与伊利诺伊大学厄巴纳-香槟分校的研究团队发现,当大语言模型(LLM)被用作自动化代码漏洞检测器时,其判断显著受到非代码上下文的影响,包括作者声望、任务描述方式以及先前的分析结果。这种认知偏差可能导致模型对完全相同的代码给出截然不同的安全判定。

该研究首次系统性地探索了LLM驱动的安全检测中的认知启发式效应。通过控制变量实验,研究人员评估了八种主流LLM在三种编程语言上的表现。结果显示,所有被测模型均表现出易感性:其中“框架效应”(即任务目标或后果的描述方式)影响最大,跨模型平均易感率为33.2%;其次是“锚定效应”(受先前结果影响),为23.5%;“光环效应”(受作者身份影响)为18.4%。

为了展示实际危害,团队演示了一种概念验证的黑盒认知攻击。通过伪造提交元数据和虚构的先前扫描结果,该攻击能在模拟的CI/CD流水线中抑制高达97%的已检测漏洞。这意味着依赖LLM作为安全守门人的企业,若未隔离这些非代码信号,可能面临严重的安全盲区。

该论文已被IEEE安全与隐私研讨会(S&P)2027接收,目前为预印本版本(v2更新于2026年10月15日)。数据基于作者自测环境,尚未见独立第三方复现报告。

来源

  • 原始出处arxiv.org↗
专题

大模型认知偏差安全

【背景】随着大语言模型(LLM)被广泛部署于代码审查和关键决策中,其安全性正受到一种非传统威胁的挑战:认知偏差。最新研究表明,LLM并非仅依据代码逻辑或事实数据做出判断,而是极易受“光环效应”、“框架效应”和“锚定效应”等人类心理启发式的影…

4 节点1 篇更新于 2026-10-18 13:46

事情怎么走到这一步

  1. 2026-06-29arXiv发布《Words Speak Louder Than Code》v1版,首次系统探索LLM在代码漏洞检测中的认知启发式影响。
登录 / 注册
阅读研究雷达投资体系
  • 2026-07-28另一项研究提出CogBias框架,证明可通过比特翻转攻击向LLM注入认知偏差,实现隐蔽的决策级劫持。
  • 2026-10-15《Words Speak Louder Than Code》更新至v2版,确认该论文已被IEEE Symposium on Security and Privacy (S&P) 2027录用。
  • 还没定论的部分

    • 现有的CI/CD流水线如何有效过滤或标准化非代码上下文(如作者头衔、提交信息),以防止其干扰LLM的安全判断?
    • 除了提示词层面的防御,是否有可行的模型架构改进或微调方法能从根本上降低LLM对光环、框架和锚定效应的敏感性?
    • 在商业应用中,如何量化并监控由认知偏差导致的漏报率(False Negatives),特别是在高信誉开发者提交的代码中?
    读完整专题 →
    带入研究 →