阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯快讯1 分钟阅读DisconfirmAI 编辑部

Google 展示多轮工具调用强化学习训练动态:接口合规先于任务能力收敛

Google 开发者博客展示了用 Tunix 在 Cloud TPU 上训练多轮工具调用 LLM 智能体的完整流程与训练动态。关键发现是训练存在阶段结构:模型先学会正确调用工具(合规率快速接近 100%),然后才逐步提升实际空间推理能力(胜率从 9.4% 升至 95%)。

2026-11-19

Google 开发者博客展示了一套在 Cloud TPU v6e-8 上训练多轮工具调用 LLM 智能体的完整流程。实验对象是 Gemma 4 E2B 模型(thinking 模式),任务环境是 Plane Strike 棋盘游戏——在 6×6 网格上通过逐步打击找出隐藏的 8 格飞机,每局最多 23 次打击。训练采用 Tunix 的 agentic GRPO,每步收集 8 个棋盘各 8 局共 64 条多轮轨迹。

这篇教程最值得注意的不是最终数字,而是训练动态中暴露的阶段结构。作者报告,工具调用合规率(game/train/tool_call_rate)在训练早期就快速接近 100%,无效动作降至约 0,重复打击从约 0.55 降至约 0.15;而实际胜率——即智能体在 23 步内击中全部 8 格的比例——从初始训练 rollout 的约 0.20(留出评估集上为 9.4%)才逐步攀升至约 0.95,平均对局长度从约 22 次打击缩短到约 16 次。换句话说,模型先学会「正确操作工具接口」,再学会「用这个接口解决空间推理问题」。

这一观察对理解 agentic RL 训练有实际意义:如果工具调用合规和任务能力是分离收敛的两个阶段,那么监控训练时仅看最终胜率可能掩盖接口层面的问题尚未解决。作者也指出,当前所有打击共享一个轨迹级奖励,更精细的逐步信用分配可能带来进一步提升——这暗示阶段结构本身可能受奖励粒度影响。

需要强调的是,这是 Google 自报的单一游戏任务演示,未经独立复现。Plane Strike 的规则简单、动作空间有限(36 个格子),工具调用模式单一(只有一个 strike 函数),与复杂多工具、长上下文的生产环境智能体差距明显。训练动态的阶段结构是否在其他任务中重现,仍待验证。

来源

  • developers.googleblog.com↗
带入研究 →
登录 / 注册
阅读研究雷达投资体系