资讯1 分钟阅读·
新研究揭示大模型生成JSON时“值对位错”问题,提出输入输出对齐修复方案
arXiv预印本指出LLM生成JSON常出现记录错位而非数值错误,通过调整输入遍历顺序和输出路径表示可显著降低此类错误。
重要性实质性证据E2 未复现写法快讯
研究人员发现,大型语言模型在生成结构化JSON数据时,常出现一种隐蔽的错误:字段值本身正确,但被绑定到了错误的记录或层级结构中。这种“值对位错”现象在常规验证中难以察觉,却会严重破坏下游数据管道的完整性。
针对这一问题,团队提出了JSONPlacement任务,用于诊断从扁平记录转换为层级JSON时的错误类型。研究发现,98.6%的可追溯合成错误属于整条记录的移动(record-assignment errors),而非层级结构实现错误。
实验表明,两种干预措施能有效缓解特定错误:将输入组织方式与目标遍历顺序对齐可减少记录分配错误;用记录级路径替代嵌套输出可减少层级实现错误。在六款开源权重模型上,结合这两种方法后,三款8-12B参数模型在所有新合成实例及一个真实数据验证集上实现了完全匹配。
该结果基于作者自测基准(E2),尚未见独立复现。研究强调需显式评估记录放置,并联合设计输入组织与输出表示以保留值-路径绑定。