阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯专题 · 大模型认知偏差安全1 分钟阅读·2026-10-17

IEEE S&P 2027论文:大模型代码漏洞检测受认知偏差影响,上下文操纵可抑制97%检出率

新研究证实大模型在代码安全评估中易受光环、框架和锚定效应干扰,攻击者可利用此特性隐藏漏洞。

重要性实质性证据E2 未复现写法快讯

2026-10-16 12:00

一项即将发表于IEEE S&P 2027的研究首次系统性地揭示了大型语言模型(LLM)在自动化代码漏洞检测中存在严重的认知偏差。研究发现,即使代码本身保持不变,仅改变周围的上下文信息——如作者身份、任务目标描述或先前的分析结果——就能显著扭曲模型的判断。

该团队评估了八种主流LLM在三种编程语言中的表现,结果显示所有模型均易受影响。其中,“框架效应”(通过任务目标和后果描述触发)导致的平均误判率最高,达33.2%;其次是“锚定效应”(受先前分析结果影响),为23.5%;“光环效应”(受作者声誉影响)为18.4%。需要语义推理才能发现的复杂漏洞比模式匹配类漏洞更容易受到这些偏差的干扰。

更具实际威胁的是,研究人员演示了一种黑盒认知攻击方法,通过精心构造的上下文诱导,成功使模型将原本已检出的漏洞判定为安全,从而抑制高达97%的已知漏洞检测结果。这一发现表明,当前依赖LLM进行代码审计的安全工具存在可被恶意利用的系统性弱点,单纯依靠模型能力而忽视提示词工程与上下文隔离可能带来严重的安全盲区。

来源

  • 原始出处arxiv.org↗
专题

大模型认知偏差安全

【背景】随着大语言模型(LLM)被广泛部署于代码审查和关键决策中,其安全性正受到一种非传统威胁的挑战:认知偏差。最新研究表明,LLM并非仅依据代码逻辑或事实数据做出判断,而是极易受“光环效应”、“框架效应”和“锚定效应”等人类心理启发式的影…

4 节点1 篇更新于 2026-10-18 13:46

事情怎么走到这一步

  1. 2026-06-29arXiv发布《Words Speak Louder Than Code》v1版,首次系统探索LLM在代码漏洞检测中的认知启发式影响。
  2. 2026-07-28
登录 / 注册
阅读研究雷达投资体系
另一项研究提出CogBias框架,证明可通过比特翻转攻击向LLM注入认知偏差,实现隐蔽的决策级劫持。
  • 2026-10-15《Words Speak Louder Than Code》更新至v2版,确认该论文已被IEEE Symposium on Security and Privacy (S&P) 2027录用。
  • 还没定论的部分

    • 现有的CI/CD流水线如何有效过滤或标准化非代码上下文(如作者头衔、提交信息),以防止其干扰LLM的安全判断?
    • 除了提示词层面的防御,是否有可行的模型架构改进或微调方法能从根本上降低LLM对光环、框架和锚定效应的敏感性?
    • 在商业应用中,如何量化并监控由认知偏差导致的漏报率(False Negatives),特别是在高信誉开发者提交的代码中?

    这条线上还有

    • IEEE S&P论文:大模型代码漏洞检测受认知偏差影响,攻击可抑制97%检出率2026-10-17
    读完整专题 →
    带入研究 →