LLoCoT预印本:并行潜空间推理将代码生成首字延迟降低约36倍
新框架通过迭代细化潜空间状态,在保持准确率的同时大幅降低推理延迟。
重要性实质性证据E2 未复现写法快讯
LLoCoT框架在HumanEval和MBPP基准测试中,将首个答案token的生成时间相比显式思维链(Reasoning SFT)基线降低了约36倍。
传统思维链依赖自回归生成中间步骤,导致高延迟;现有潜空间方法仍保留左到右依赖。LLoCoT引入循环变换器,对紧凑潜工作区进行少量迭代联合更新,并并行采样潜token以条件化解码器。
作者自测显示,该方法在准确率上与Reasoning SFT持平,同时端到端吞吐量提升9.2%。该结果基于预印本,尚未见独立复现报告。