ElevenLabs发布Eleven Realtime:集成式语音智能体模型,支持低延迟对话
ElevenLabs推出Eleven Realtime系列模型,将语音识别、LLM和语音生成整合为单一系统,旨在简化自然语音智能体的开发。官方视频显示,v1 Mini和v1 Max两款模型均能在约0.6秒内开始响应,其中v1 Max在Artificial Analysis的Big Bench Audio测试中得分98.8%。该模型通过ElevenAgents平台及兼容OpenAI Realtime API的接口提供。
ElevenLabs于2026年10月22日发布了一段介绍视频,正式推出了名为“Eleven Realtime”的新型Speech-to-Speech(语音到语音)模型类别。这一发布针对的是希望构建更自然、低延迟语音交互体验的开发者和企业。与传统需要分别配置语音识别(ASR)、大语言模型(LLM)和语音合成(TTS)组件的方案不同,Eleven Realtime将这些功能作为一个整体系统进行调优,从而简化了从模型选择到部署的流程。
视频中介绍了两款可用模型:Eleven Realtime v1 Mini和v1 Max。v1 Mini专为低成本的自然对话场景设计,适用于AI助手、导师和交互式角色;而v1 Max则面向复杂任务和工具调用,如客户支持和多步骤工作流。官方声称,这两款模型都能在约0.6秒内开始说话,显著降低了用户感知的等待时间。
为了佐证其性能,ElevenLabs引用了独立评估机构Artificial Analysis的数据。据称,v1 Max在Big Bench Audio基准测试中获得了98.8%的分数,平均启动时间为0.57秒。公司表示,在该机构的Speech-to-Speech排行榜上,没有模型能同时比它更快且更准确。虽然这是厂商引用的第三方数据,但为读者提供了一个具体的性能参考点。
在接入方式上,Eleven Realtime可通过ElevenAgents平台使用,也可通过Realtime API访问。值得注意的是,该API与OpenAI的Realtime API兼容。这意味着已经在使用OpenAI Realtime API的开发者只需更改端点和模型名称,即可迁移至ElevenLabs的服务,无需重写大部分代码逻辑。这一兼容性策略降低了切换成本,可能吸引现有OpenAI用户尝试。