ReadingResearchRadarInvestment framework
Sign in / Sign up
← Back to reading
TopicDisconfirmAI EditorialUpdated 2026-10-16 14:40

大模型JSON值对位错

3 steps0 pieces3 Sources

【背景】在LLM生成结构化数据时,存在一种隐蔽的“值对位错”现象:模型能正确提取所有数值,却将其绑定至错误的JSON路径或层级。arXiv最新研究指出,随着结构复杂度增加,这种结构性保真度的下降速度远快于内容准确性,导致下游系统静默失败。

时间线上,2026年8月26日发布的v1论文提出SCD框架,量化了DeepSeek-V4-Flash等模型在高复杂度下高达35%的错位率;同年10月14日更新的v2版本进一步证实98.6%的可追溯错误为整记录移动,并验证了通过调整输入遍历顺序和输出路径表示可显著降低此类错误。

争议在于修复策略的有效性:一方认为受限解码(Constrained Decoding)虽保证语法合法,但无法解决语义层面的位置绑定错误,甚至因强制偏离概率分布而引入新偏差;另一方则主张通过SA-RLVR强化学习直接优化结构寻址能力,实验显示其能将JSON值放置准确率从26%提升至63%。目前尚无定论表明单一方案能完全消除复杂嵌套下的错位风险。

后续需关注:1. v2论文中提出的“输入组织与输出表示联合设计”是否在更多开源模型上复现;2. 工业界是否采纳将结构寻址作为独立评估指标的标准。

How it got here

  1. 2026-08-26

    arXiv发布v1论文《Where vs What》,提出SCD框架分离结构与内容错误,发现高复杂度下Qwen2.5-7B错位率达74%,DeepSeek-V4-Flash达35%。

    arxiv.org ↗
  2. 2026-09-01

    Developing Light报道该研究,指出受限解码仅保证格式有效,无法确保值位于正确结构地址,且表格域迁移效果有限。

    developinglight.com ↗
  3. 2026-10-14

    arXiv更新v2论文《Right Values, Wrong Places》,确认98.6%错误为整记录移动,提出通过对齐输入遍历顺序和替换嵌套输出为记录级路径来修复。

    arxiv.org ↗

What is still unsettled

  • SA-RLVR方法在表格坐标定位上的泛化能力是否优于JSON?
  • 生产环境中如何低成本部署针对‘值对位错’的实时检测机制?

Sources

  • arxiv.org
Sign in / Sign up
ReadingResearchRadarInvestment framework
arXiv v2 原始论文
↗
  • developinglight.com第三方深度解读↗
  • tianpan.co生产环境故障分析↗