类型安全不等于逻辑正确
新预印本显示,大模型在结构化决策中常受选项名称语义干扰,导致高翻转率。
重要性实质性证据E2 未复现写法快讯
即使输出格式完全符合类型定义,大模型的决策仍可能因选项名称的语义暗示而偏离预设定义。
Yu Sun等人在最新预印本中发现,当二元决策任务的选项名称从“0/1”改为“yes/no”时,模型的选择翻转率最高增加70.4个百分点。尽管所有输出的类型错误率为0%,但模型倾向于跟随名称的极性而非绑定的具体定义文本。
该研究基于Jev及两个开源权重模型,在1200个任务上测试。结果显示,随机字符串作为名称时的表现接近中性控制组,表明“yes/no”等具有固有语义的名称引入了额外的不稳定性。
此为作者自测结果,尚未见独立复现。主要影响在于提示工程与评估框架的设计,需警惕表面合规下的逻辑错位。