资讯1 分钟阅读·
TimeWarp基准揭示Web智能体对UI变化的脆弱性,自报提升Qwen-3成功率最高37.7%
新基准测试显示视觉Web智能体易受UI变化影响,提出的TimeTraj方法在Qwen-3上自报提升最高37.7%。
重要性实质性证据E2 未复现写法快讯
TimeWarp基准测试揭示了当前Web智能体在面对不同时代网页界面(UI)变化时的脆弱性,特别是基于视觉的智能体容易受到干扰,而经过单一版本微调的文本智能体则变得僵化。
该研究由Utah大学Spark Lab团队提出,旨在评估智能体在“明天的网络”上的表现是否依然稳健。TimeWarp包含Wiki、News和Shop三个环境,每个环境有六个跨越不同互联网时代的UI版本。
为了解决这一问题,作者提出了TimeTraj标注方法,通过计划蒸馏收集跨版本的轨迹数据。使用该方法训练后,Qwen-3 4B模型的成功率提升了20.4%至37.7%,Llama-3.1 8B模型提升了0%至27.0%。
这些结果来自作者自测基准(E2),尚未见独立复现。代码和数据已在GitHub和Hugging Face开源,供后续研究验证其泛化能力。