阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯专题 · 选项名称语义干扰1 分钟阅读·2026-10-09

类型安全不等于逻辑正确

新预印本显示,大模型在结构化决策中常受选项名称语义干扰,导致高翻转率。

重要性实质性证据E2 未复现写法快讯

2026-09-23 12:00

即使输出格式完全符合类型定义,大模型的决策仍可能因选项名称的语义暗示而偏离预设定义。

Yu Sun等人在最新预印本中发现,当二元决策任务的选项名称从“0/1”改为“yes/no”时,模型的选择翻转率最高增加70.4个百分点。尽管所有输出的类型错误率为0%,但模型倾向于跟随名称的极性而非绑定的具体定义文本。

该研究基于Jev及两个开源权重模型,在1200个任务上测试。结果显示,随机字符串作为名称时的表现接近中性控制组,表明“yes/no”等具有固有语义的名称引入了额外的不稳定性。

此为作者自测结果,尚未见独立复现。主要影响在于提示工程与评估框架的设计,需警惕表面合规下的逻辑错位。

来源

  • 原始出处arxiv.org↗
专题

选项名称语义干扰

【背景】大语言模型在结构化决策任务中常出现“类型安全但逻辑错误”的现象,其核心原因在于模型过度依赖选项名称的语义线索,而非绑定的定义。

2 节点1 篇更新于 2026-10-09 13:25

事情怎么走到这一步

  1. 2026-09-22Yu Sun等人提交预印本v1,提出类型安全的决策模型仍受选项名称语义干扰。
  2. 2026-10-08预印本更新至v3,确认在1200个任务中,“yes/no”名称相比“0/1”控制组导致最高70.4个百分点的决策翻转率增加。

还没定论的部分

  • 如何在不牺牲可读性的前提下,设计对模型无偏见的选项命名规范?
  • 结构化分解(LLM提取+规则决策)是否能完全消除名称语义带来的AUC下降?
登录 / 注册
阅读研究雷达投资体系
  • 该现象在多步推理或复杂状态空间中的表现是否与二元决策一致?
  • 读完整专题 →
    带入研究 →