阅读研究雷达投资体系
登录 / 注册
← 返回阅读
专题DisconfirmAI 编辑部更新于 2026-10-03 18:47

SE-GoS技能图自进化

5 节点1 篇4 来源

SE-GoS 是一项让 LLM 智能体的技能检索图从执行轨迹中自我改进的方法:不训练模型、不改技能代码、不换检索算法,只更新图的拓扑、边权和节点描述。作者自测显示,在 1000 技能的 SkillsBench 上,一轮进化把平均奖励从 52.4% 提到 59.4%,输入 token 约省三分之一,且增益迁移到从未见过的任务集(52.9%→58.3%)。争议在于:Pith 评审认为摘要夸大了 held-out 迁移结果——论文自己报告该提升落在噪声带内,且方法依赖"从工具调用路径可靠识别实际使用的技能"这一前提,间接调用会被漏记。目前结果均为作者自测,尚无独立复现。

事情怎么走到这一步

  1. 2026-04-07

    Graph-of-Skills(GoS)发布:用类型化技能图加反向 Personalized PageRank 做依赖感知检索,在 SkillsBench 和 ALFWorld 上比全量加载技能平均奖励高 43.6%、token 省 37.8%。但图是静态的,建好后不随执行反馈更新。

    huggingface.co ↗
  2. 2026-09-08

    SE-GoS 论文提交(arXiv:2609.08228):从执行轨迹中归纳拓扑、衰减/强化边权、用一轮文本梯度改写检索不佳的节点描述,检索管线本身保持不变。

    arxiv.org ↗
  3. 2026-09-09

    Pith 评审给出 3 项主要异议:认可"执行轨迹驱动的图进化"想法干净,但指出摘要夸大了 held-out 迁移结果(论文自报在噪声带内),并质疑通过文件路径识别技能使用会漏掉间接调用。

    pith.science ↗
  4. 2026-10-01

    论文更新至 v2。作者报告一轮进化使 SkillsBench 奖励从 52.4% 升至 59.4%,held-out 集从 52.9% 升至 58.3%,token 约为全量加载的三分之二;重复进化轮次不再带来提升。

    arxiv.org ↗
  5. 2026-10-02

    作者再次强调一轮进化的 52.4%→59.4% 提升及对静态 GoS、向量检索、全量加载的全面超越,同时承认效果待独立复现。

    arxiv.org ↗

还没定论的部分

  • held-out 迁移提升(52.9%→58.3%)是否超出噪声带——Pith 认为论文自报结果在噪声带内,摘要存在夸大
  • SE-GoS 能否在独立实验室、不同骨干模型上复现 7 个点的提升
登录 / 注册
阅读研究雷达投资体系
  • 在已知真实依赖结构的合成技能库上,进化后的图是否收敛到真实结构(Pith 提出的判定实验)
  • 来源

    • arxiv.orgSE-GoS 论文(arXiv HTML)↗
    • arxiv.orgSE-GoS 摘要页↗
    • pith.sciencePith 评审↗
    • huggingface.coGoS 论文页(Hugging Face)↗

    这一专题下的内容

    • 技能图自进化一轮将检索奖励从52.4%提至59.4%2026-10-02资讯

      SE-GoS作者自测显示一轮进化把SkillsBench检索奖励从52.4%提到59.4%,效果待独立复现。