注意力追踪注入检测

【背景】针对大语言模型提示注入攻击的检测领域，IBM Research与国立台湾大学团队提出的“注意力追踪器”（Attention Tracker）成为关键基准。该方法利用模型内部注意力头在遭受攻击时发生的“分心效应”（即注意力从原始指令转移至注入指令），实现无需额外推理的训练式检测。

2024年11月，Kuo-Han Hung等人发布预印本，指出通过监控特定“重要注意力头”的聚焦分数，可在Open-Prompt-Injection等数据集上将AUROC提升最高10.0%。2025年4月，该成果被NAACL Findings正式收录，并开源代码。随后，Sarthak Gupta等人在2026年10月的最新研究中对该类方法进行了更细致的拆解：他们发现，虽然基于存在性检测的方法能识别注入，但注意力追踪法在区分“成功的”与“失败的”注入攻击上表现更优。在Qwen3.6-35B-A3B模型上，注意力追踪法对成功注入的分离能力达到0.949 AUROC，显著高于其他仅关注注入存在的探针方法。

这一进展揭示了安全防御的核心分歧：检测“有攻击”不等于拦截“有效攻击”。传统方法多依赖表面特征或概念存在性，而注意力追踪法深入模型动态行为，捕捉导致模型实际执行恶意指令的内部信号转移。这意味着未来的防御体系需从静态过滤转向对模型内部状态流（如信息路由、行为影响）的动态监控。