PolyAI语音自然度
4 节点1 篇4 来源
PolyAI通过发布新模型Dialog-RSN-1，试图解决语音智能体的“非通用化自然度”问题。传统方案依赖级联系统（ASR+LLM+TTS），易丢失语调、节奏等非文本线索；而PolyAI的新架构让模型直接感知原始音频，将响应延迟压缩至300毫秒以内，以模拟人类对话的自然停顿与打断逻辑。
【背景】早在2021年，PolyAI即指出不同语言/口音需差异化训练数据，且带有地域特色的声音比通用合成音更具人性。2024年的访谈中，CTO Shawn Wen进一步强调，最自然的语音往往源于对特定语境（如法国口音英语）的理解，而非单纯的语音合成技术。
争议在于：是继续优化级联系统的各环节精度，还是转向端到端的音频原生模型？PolyAI选择后者，声称其8B参数模型在A100 GPU上可实现<300ms延迟，优于OpenAI GPT-realtime的860-1900ms。但这一性能提升是否以牺牲多语言扩展性为代价，尚待观察。
事情怎么走到这一步
PolyAI发布博客《Handling languages and accents》，指出英语因数据优势更易被机器理解，而其他语言及口音需专门优化，提出通过预训练和混合ASR模型提升多语言准确率。
poly.ai ↗PolyAI CTO Shawn Wen在播客《The anatomy of a voice assistant》中阐述技术栈，强调LLM不能单独做业务决策，需叠加逻辑护栏，并提及早期最自然的语音实为带法国口音的英语。
poly.ai ↗PolyAI宣布推出Dialog-RSN-1模型，该模型直接处理原始音频进行识别与响应，无需前置ASR转录，旨在捕捉语调、节奏等非语音线索，实现更自然的对话交互。
siliconangle.com ↗PolyAI更新文档，展示Voice设置界面，允许用户调整稳定性、清晰度及风格滑块，并将TTS模块与LLM分离，以便独立控制输出声音的情感与节奏。
docs.poly.ai ↗
还没定论的部分
- Dialog-RSN-1的端到端音频处理模式在多语言支持上是否仍保持与级联系统相同的扩展效率？
- <300ms的延迟指标是在何种硬件配置（如A100）及并发负载下测得，实际生产环境中的波动范围如何？
- 将TTS与LLM分离虽便于定制，但是否会导致情感表达与语义理解的脱节，从而产生新的‘恐怖谷’效应？