资讯1 分钟阅读·
预印本:注意力追踪法在区分成功提示注入攻击中表现优于存在性检测,Qwen模型AUROC达0.949
新研究对比五种基于内部状态的提示注入检测方法,发现关注响应形成的信号(如注意力转移)比仅检测注入存在的信号更能准确识别攻击是否成功。
重要性实质性证据E2 未复现写法快讯
一项针对大语言模型内部状态用于提示注入检测的研究显示,能够反映“攻击是否成功”的信号与反映“是否存在注入”的信号并不相同。研究人员在Qwen3.6-35B-A3B和Gemma-4-26B-A4B-it两个模型上评估了五种不同的表示读取方法。
研究发现,旨在检测注入存在性或攻击相关概念的方法,通常能更强地将未成功的注入与良性输入区分开来;而基于注意力转移、暴露度和角色混淆的方法,则在区分成功注入时表现更佳。其中,“Attention Tracker”方法提供了最强且一致的成功注入分离能力,在Qwen模型上达到0.949的AUROC(受试者工作特征曲线下面积),在Gemma模型上达到0.887。
这一结果暗示,越接近响应形成阶段的内部信号,可能越能编码关于攻击成功与否的信息。同时,检测性能对提示模板具有高度依赖性。该研究数据已公开,但作为预印本,其结论尚待独立复现验证。