实时交互基准测试
3 节点1 篇4 来源
Realtime-Bench是一项由德克萨斯大学奥斯汀分校、英伟达等机构联合推出的基准测试，旨在评估前沿大模型在严格时间约束下的实时交互能力。该测试包含50个动态任务，涵盖网页操作与游戏场景。结果显示，在模拟真实推理延迟的“墙钟”条件下，表现最佳的GPT-6 Astra通过率仅为36%，远低于暂停延迟后的70%-80%水平。这一差距揭示了当前AI代理在决策质量与执行时效性之间的权衡困境：更高的推理努力并不总能转化为更好的实时表现。【背景】该研究指出，现有评估多关注对话质量或流式感知，而忽略了行动在时间压力下的有效性。
事情怎么走到这一步
Realtime-Bench论文v1版本提交至arXiv，正式提出针对实时交互问题的评估框架。
arxiv.org ↗论文更新至v3版本，明确在Wall Clock条件下最佳Pass^3仅为36%，并引入Token Clock以分离服务延迟与模型能力。
arxiv.org ↗Import AI通讯发布第479期，详细解读Realtime-Bench结果，指出低延迟任务是大模型的短板，并列举了参与测试的具体模型如GPT-6 Astra和Claude Fable 5.1。
importai.substack.com ↗
还没定论的部分
- 如何通过自适应推理（adaptive reasoning）在不牺牲决策质量的前提下提升实时响应速度？
- 除了游戏和网页任务，Realtime-Bench的方法论是否适用于金融交易或自动驾驶等更高风险的实时场景？
- 不同架构的模型（如专门优化的实时模型 vs 通用大模型）在Token Clock条件下的表现差异有多大？