arXiv预印本:全双工语音模型中识别出“主动向量”,可通过参考音频转移说话风格
研究人员在全双工语音语言模型(Full-Duplex Spoken Language Models)中识别出一个名为“主动向量”(initiative vector)的单一残差流方向,该方向决定了模型在对话中何时接管话轮。
传统方法通常从外部控制模型的对话个性,而这项研究指出,模型内部存在一个可读取和偏移的量来控制其说话比例。实验显示,通过缩放该向量,模型的说话比例可从无干预时的21-30%显著调整至6-12%或42-61%,且这种效果在不同对话、权重和数据集上保持一致。
更关键的是,利用一段简短的参考录音即可将该说话人的话轮转换风格转移到模型上。这种转移具有特异性:替换为另一说话人的参考录音会导致匹配度下降93-98%,表明风格并非冻结在权重中,而是可以通过内部激活进行校准。
该结果基于作者自测基准,尚未见独立复现。研究主要关注技术机制的可控性,实际产品化应用需进一步验证其在复杂噪声环境和大规模用户中的稳定性。
信息源:arxiv.org