Anthropic Fable 5.2在远程劳动指数中完成41.3%的真实自由职业任务
Anthropic最新模型Fable 5.2在Scale Labs和AI安全中心(CAIS)开发的远程劳动指数(RLI)上取得突破,以专业质量完成了41.3%的真实自由职业项目。该基准测试衡量AI代理完成Upwork等平台实际工作任务并达到付费客户接受标准的频率。
这一进展显示AI代理在实际工作中的快速追赶。约一年前该基准启动时,当时的顶级系统Manus仅能完成2.5%的任务。Fable 5.2现在的完成率是其16倍以上。与近期测量相比,跳跃同样巨大:7月,同系列旧模型Fable 5得分约为16%,直接前身Fable 5.1略低于18%。Fable 5.2的完成率是Fable 5七月分数的约2.5倍。
Scale Labs表示,Fable 5.2在音频和音乐编辑、建筑和室内设计以及创建3D模型方面取得最大进步。该代理还能处理以前顶级模型经常失败的长期复杂项目。值得注意的是,Fable 5.2成功完成的近50个项目是此前任何AI代理都未解决过的。然而,在工业产品设计和动画方面,AI仍难以胜任,失败通常表现为业余质量、不完整结果或损坏文件。
RLI数据集包含来自Upwork平台358名经过验证的专业人士的240个已完成项目,总价值约14.4万美元。单个项目平均成本为632.60美元,人类自由职业者平均耗时近29小时。任务范围从视频编辑到CAD设计、游戏开发和数据分析。AI代理在虚拟工作区中使用Blender、GIMP或Audacity等专业软件以及专门的AI工具进行操作。
信息源:The Decoder