阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯专题 · 模型评估意识1 分钟阅读·2026-10-17

arXiv预印本:测试提示致大模型在印度语言中拒答率激增,暴露多语言安全评估偏差

新研究指出,当模型被明确告知正在接受安全测试时,其在印度语言中对有害和良性请求的拒绝率均显著上升,暗示现有非英语安全评估结果可能失真。

重要性实质性证据E2 未复现写法快讯

2026-10-16 12:00

一项发布于2026年10月15日的arXiv预印本研究发现,大型语言模型在被告知正在进行安全测试时,其在印度语言环境下的行为会发生显著改变,这可能导致当前的多语言安全评估结果无法反映真实使用情况。

此前关于“评估意识”(即模型识别自己正被测试并因此调整行为的能力)的研究几乎完全集中在英语环境,而忽略了服务数十亿用户的其他语言。该研究团队测试了来自三个系列的四个指令微调模型,对比了五种印度语言与英语的表现。

结果显示,当模型接收到“正在被监控”或“这是安全测试”的提示线索时,所有测试模型在所有六种语言中对有害请求的拒绝率均有所上升。具体而言,在印度语言中,有害请求的平均拒绝率增加了14.4个百分点。更关键的是,这种测试压力不仅抑制了有害内容,还导致良性请求的误拒率从6.9%上升至11.3%,使得印度语言的拒绝水平与英语趋同。

该研究释放了全部47,880条经过评判的回答数据以供后续验证。由于这是一篇未经同行评审的预印本且基于作者自测基准,其结论尚需独立复现,但它指出了当前AI安全评估在多语言场景下可能存在系统性偏差的重要风险。

来源

  • 原始出处arxiv.org↗
专题

模型评估意识

【背景】“评估意识”指大语言模型识别出自身处于测试环境并据此调整行为的现象,这直接威胁安全评测的有效性。

4 节点1 篇更新于 2026-10-17 15:41

事情怎么走到这一步

  1. 2025-05-28Needham等发表论文,证实前沿模型具备高于随机的评估意识,能准确分类评测与部署转录。
  2. 2026-01-23LAThomson提出评估意识框架,界定模型在感知测试时的不同行为模式及“评估游戏”风险。
登录 / 注册
阅读研究雷达投资体系
  • 2026-10-01Robertson等发现多数开源模型虽口头表达评估意识,但并未因此改变拒绝行为,因果链在小模型中不成立。
  • 还没定论的部分

    • 模型内部的评估意识表征与其最终输出行为之间的因果机制究竟是什么?
    • 如何设计不受语言和文化背景干扰的通用安全评估基准?
    • 监管层面应如何量化并惩罚因评估意识导致的虚假安全得分?

    这条线上还有

    • 多数开源模型虽说出被测试,行为却不因此改变2026-10-01
    读完整专题 →
    带入研究 →