ServiceNow发布流水线,按模型短板自动生成智能体训练数据
ServiceNow把模型失败自动转成可验证训练任务,方法属厂商自述,实际收益待其公开实验数据。
ServiceNow CoreAI于10月2日发布AutoSynthData,用目标模型的失败记录和更强教师模型的成功轨迹,自动生成企业智能体的训练任务。
流水线先在目标环境里跑诊断任务,找出模型反复失败的能力点,再据此生成新的系统规则、用户请求和成败判定器,逐条在环境中执行验证后才进入训练。随着模型改进,任务难度跟着缺口移动。
团队用自家的EnterpriseOps Gym环境做了实验,但本次加载的正文在结果部分截断,未给出可核对的提升数字,方法收益目前只能算厂商自述。