实时交互基准：大模型在时间压力下通过率仅36%
Realtime-Bench用50个动态任务测试前沿大模型的实时决策能力。在模拟真实推理延迟的Wall Clock条件下，最佳通过率仅36%；暂停延迟后，高推理模型可达70%至80%。论文指出更高推理努力在时间压力下效果不一，反映出决策质量与及时执行之间的权衡。
Import AI作者Jack Clark在最新一期通讯中介绍了Realtime-Bench，一套专门测试大模型实时交互能力的基准。该基准由美国德克萨斯大学奥斯汀分校、俄亥俄州立大学、伊利诺伊大学厄巴纳-香槟分校、NVIDIA、西北大学和Steadyworks的研究者共同构建，包含50个动态任务：30个网页任务（旅行、电商、服务、安全）和20个游戏任务（街机、益智、策略、模拟）。每个任务的共同特征是延迟行动会直接导致失败——比如购票窗口关闭后即使推理正确也无济于事。
核心发现来自三种时钟条件的对比。Wall Clock按实际推理延迟推进环境，模拟真实部署场景；Paused Clock暂停一切延迟，给出模型能力的理想上限；Token Clock按生成token数推进模拟时间，隔离物理服务速度与模型时间感知。在Wall Clock条件下，OpenAI的GPT-6 Astra（高推理模式）取得最高通过率36%。而Paused Clock下，高推理模型成功率接近70%甚至80%。arXiv论文摘要进一步区分了两个指标：Wall Clock下最佳成功率为44%，最佳Pass^3为36%。
这一差距的实际含义是：时间约束本身构成一类独立的失效模式。论文作者发现，更高的推理努力在时间压力下效果不一，反映出决策质量与及时执行之间的权衡——模型需要同时追踪世界状态变化（RT-Perceive）、根据剩余时间调整推理深度（RT-Deliberate）、并恰当地选择行动时机（RT-Act）。Jack Clark指出，这个基准是AI智能体将在哪里失效的有效代理指标，低分任务正是当前无法指望AI代理完成的工作。该基准为预印本，50个任务的覆盖范围有限，具体数字可能随推理基础设施加速而变化。