英国AI音频独角兽ElevenLabs发布Realtime系列模型,简化语音智能体搭建
ElevenLabs推出Mini和Max两款实时语音模型,通过统一配置底层组件降低开发门槛,第三方测试显示Max推理准确率达98.8%。
10月20日,英国AI音频公司ElevenLabs发布了Eleven Realtime系列模型,包括面向自然交流的v1 Mini和面向复杂任务的v1 Max。此次发布的核心在于简化语音智能体(Voice Agent)的开发流程:过去开发者需分别选型并调试语音识别(ASR)、大语言模型(LLM)和语音合成(TTS)三个独立组件,而Realtime系列将这些底层能力统一封装,开发者只需根据业务场景选择Mini或Max,即可直接配置角色、知识库和工具调用逻辑。
据第三方AI评测机构Artificial Analysis的独立测试数据显示,Eleven Realtime v1 Max在Big Bench Audio语音推理评测中取得了98.8%的正确率,平均首次音频响应时间为0.57秒。在该单项榜单中,Max位列第三,仅次于阶跃星辰的StepAudio 3 Realtime(99.7%)和阿里的Qwen Audio 3.0 Realtime Plus(99.2%)。值得注意的是,作为参考指标,Qwen Audio 3.0 Realtime Plus的首次音频响应时间为1.54秒,显示出ElevenLabs在低延迟交互上的竞争力。
在真人参与的Speech Agent Arena评测中,Max的工具使用任务完成率为87.1%,显著高于Mini的60.3%,表明Max更适合需要频繁调用外部API的多步骤工作流。然而,在全双工对话评测(Full-Duplex-Bench)中,Mini在停顿处理和打断响应等交互细节上的综合得分(95.8%)略高于Max(94.1%),这印证了官方对Mini主打“低成本自然对话”的定位。
智东西的实测体验显示,通过Architect助手用语音修改Agent设置确实减少了菜单操作,但中文语音输出带有明显的外国口音,且回复偏长、偶有卡顿。技术层面,ElevenLabs延续了级联架构,即由独立的ASR、LLM和TTS模块协同工作。该公司承认,这种架构便于单独升级和排查错误,但语音转文字过程中会丢失部分语调和情绪信息,需额外建模补偿。目前,这两款模型可通过ElevenAgents平台或兼容OpenAI Realtime规范的API接入,定价按连接时长和Token用量计费。