TimeWarp基准
3 节点0 篇3 来源
TimeWarp基准揭示Web智能体对UI变化的脆弱性，自报提升Qwen-3成功率最高37.7%。该基准由犹他大学团队提出，旨在评估智能体在网页界面随时间演变时的鲁棒性。研究发现，基于视觉的Web智能体极易受UI布局和设计变更影响，而文本型智能体在单一版本微调后也会变得脆弱。为解决此问题，团队提出TimeTraj方法，通过跨多版本蒸馏计划轨迹，使Qwen-3 4B模型成功率从20.4%提升至37.7%，Llama-3.1 8B从0%提升至27.0%。这一结果挑战了现有静态基准的有效性，表明训练数据的时序多样性比单纯增加数据量更能提升泛化能力。目前该方法已在NeurIPS 2026数据集与评估赛道展示，代码与数据集已开源。
事情怎么走到这一步
论文v1提交至arXiv，首次提出TimeWarp基准概念。
arxiv.org ↗论文v4修订完成，确认NeurIPS 2026录用状态并更新最终实验数据。
arxiv.org ↗媒体发布报道，强调Qwen-3模型在TimeTraj方法下的性能提升幅度。
arxiv.org ↗
还没定论的部分
- TimeTraj生成的计划能否有效迁移到完全不同的网站（如不同电商结账流程）？
- 如何定义和采样“UI时代”以确保持续训练中的版本多样性？
- 除UI变化外，内容变化和对抗性攻击对智能体鲁棒性的综合影响如何量化？