Audible应用科学家Arent van Korlaar：通用语音合成为何撑不起一本有声书
Audible团队指出，面向短时交互设计的通用TTS在有声书场景面临三个具体失效点——无法区分角色、缺乏叙事上下文、跨章节音色漂移。其解法是将角色与台词判定交给独立的BookLLM组件，以自然语言描述作为舞台指示驱动可控TTS渲染，并在整本书级别锁定角色音色。
语音助手在几秒的交互中已经足够自然，但有声书要求同一声音持续十到十五小时
Audible应用科学家Arent van Korlaar在2026年10月23日发表的技术博客中，将通用TTS在有声书上的失效归结为三个具体问题：第一，模型无法像人类叙述者那样在不同角色间切换说话风格，听者难以区分旁白与对话、难以辨认哪句台词属于哪个角色；第二，通用TTS按单句处理、上下文极少，而有声书需要理解前后文才能保持叙事连贯；第三，通用模型难以在整本书跨度上保持同一角色音色一致，第一章与第十章中同一角色的声音可能明显不同。
他们的解法不是训练一个更大的通用TTS模型，而是做架构分离。系统分为两个组件：BookLLM负责阅读整本书、建立角色列表、判定每段台词的归属并写出描述该句应如何演绎的自然语言标注；可控TTS模型据此逐句合成，因角色音色在整本书级别锁定，同一角色从第一章到第十章保持一致。
BookLLM在25本英文和西班牙文的悬疑、科幻和爱情小说上测试，由两名人工标注者建立真值，角色与台词归属准确率为英文97%、西班牙文94%。合成后在MUSHRA测试（0–100分听者评分标准方法）中，角色音色区分度提升3.7分，英文和西班牙文合计十种角色音色中有八种获得统计显著的听感改善。这些均为Audible团队自报结果，测试听者人数和盲测细节未在博客中完整披露。
这一架构选择的核心逻辑是：有声书的问题不在于语音不够自然，而在于让不同角色拥有彼此可辨且全书一致的音色，并在每句台词上叠加即时的情感表达。
数据合成方面，团队面临训练数据表达力不足的问题——既有TTS训练语料多为中性语调。他们用两条路径扩展：一是通过音高提取、语速提取、情感检测等专家模型从音频中提取数值特征，再输入LLM生成语音描述；二是训练一个语音描述模型，输入语音、输出韵律特征描述，与可控TTS模型交替迭代生成合成数据。