全双工语音主动向量
3 节点0 篇3 来源
研究人员在全双工语音模型中识别出“主动向量”（initiative vector），这是一个控制话轮转换的内部方向。该发现表明，模型的对话风格并非冻结在权重中，而是可以通过短录音进行转移和校准。这一突破解决了现有模型在实时交互中难以自然切换说话权的问题，为构建更具拟人化特征的语音AI提供了新路径。
【背景】全双工模型需同时听和说，决定何时接管话语权是其核心挑战。此前研究多关注外部控制或反应式等待，而主动向量揭示了模型内部存在一个可读取、可偏移的决策机制。
事情怎么走到这一步
arXiv预印本《Reference-Guided Turn-Taking Style Transfer for Full-Duplex Spoken Language Models》提交，首次提出并验证了“主动向量”的存在及其在风格转移中的作用。
arxiv.org ↗另一项研究《Coupled but Late》指出，当前全双工模型在无人干预的对话中，话轮转换比人类慢400-560毫秒，且表现为反应式而非预测式，凸显了优化话轮控制的紧迫性。
arxiv.org ↗阿里巴巴团队发布《Enabling Proactive Spoken Turns via a Generalized Style-Aware Full-Duplex Framework》，提出LPS-TC控制器和WildTurn数据集，旨在通过显式建模提升主动话轮能力。
arxiv.org ↗
还没定论的部分
- 主动向量在不同架构的全双工模型中的普适性如何？
- 基于参考音频的风格转移在复杂噪声环境下的鲁棒性表现？
- 如何将主动向量的发现与现有的端到端语音模型训练流程结合以提升效率？