LeituraPesquisaRadarFramework de investimento
Entrar / Cadastrar
← Voltar para a leitura
TópicoEditorial DisconfirmAIAtualizado 2026-10-03 18:47

SE-GoS技能图自进化

5 etapas1 peças4 Fontes

SE-GoS 是一项让 LLM 智能体的技能检索图从执行轨迹中自我改进的方法:不训练模型、不改技能代码、不换检索算法,只更新图的拓扑、边权和节点描述。作者自测显示,在 1000 技能的 SkillsBench 上,一轮进化把平均奖励从 52.4% 提到 59.4%,输入 token 约省三分之一,且增益迁移到从未见过的任务集(52.9%→58.3%)。争议在于:Pith 评审认为摘要夸大了 held-out 迁移结果——论文自己报告该提升落在噪声带内,且方法依赖"从工具调用路径可靠识别实际使用的技能"这一前提,间接调用会被漏记。目前结果均为作者自测,尚无独立复现。

Como chegamos aqui

  1. 2026-04-07

    Graph-of-Skills(GoS)发布:用类型化技能图加反向 Personalized PageRank 做依赖感知检索,在 SkillsBench 和 ALFWorld 上比全量加载技能平均奖励高 43.6%、token 省 37.8%。但图是静态的,建好后不随执行反馈更新。

    huggingface.co ↗
  2. 2026-09-08

    SE-GoS 论文提交(arXiv:2609.08228):从执行轨迹中归纳拓扑、衰减/强化边权、用一轮文本梯度改写检索不佳的节点描述,检索管线本身保持不变。

    arxiv.org ↗
  3. 2026-09-09

    Pith 评审给出 3 项主要异议:认可"执行轨迹驱动的图进化"想法干净,但指出摘要夸大了 held-out 迁移结果(论文自报在噪声带内),并质疑通过文件路径识别技能使用会漏掉间接调用。

    pith.science ↗
  4. 2026-10-01

    论文更新至 v2。作者报告一轮进化使 SkillsBench 奖励从 52.4% 升至 59.4%,held-out 集从 52.9% 升至 58.3%,token 约为全量加载的三分之二;重复进化轮次不再带来提升。

    arxiv.org ↗
  5. 2026-10-02

    作者再次强调一轮进化的 52.4%→59.4% 提升及对静态 GoS、向量检索、全量加载的全面超越,同时承认效果待独立复现。

    arxiv.org ↗

O que ainda está indefinido

  • held-out 迁移提升(52.9%→58.3%)是否超出噪声带——Pith 认为论文自报结果在噪声带内,摘要存在夸大
Entrar / Cadastrar
LeituraPesquisaRadarFramework de investimento
  • SE-GoS 能否在独立实验室、不同骨干模型上复现 7 个点的提升
  • 在已知真实依赖结构的合成技能库上,进化后的图是否收敛到真实结构(Pith 提出的判定实验)
  • Fontes

    • arxiv.orgSE-GoS 论文(arXiv HTML)↗
    • arxiv.orgSE-GoS 摘要页↗
    • pith.sciencePith 评审↗
    • huggingface.coGoS 论文页(Hugging Face)↗

    Cobertura neste tópico

    • One round of skill-graph self-evolution lifts retrieval reward from 52.4% to 59.4%2026-10-02Notícias

      SE-GoS authors' own tests show one evolution round lifting SkillsBench retrieval reward from 52.4% to 59.4%, pending independent replication.