阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯实质变化6 分钟阅读DisconfirmAI 编辑部

Tableau 解决方案工程师与市场战略负责人:AI Agent 的准确性更多取决于配置而非模型

Will Pitzler 和 Andrew Hill 介绍了六项配置与治理实践,这些实践帮助定制化的 Tableau MCP agent 从原型走向受监管企业客户的生产环境。他们指出,范围界定、元数据准备和评估纪律比模型选择更为重要。

2026-11-21 02:44

Tableau 市场战略与生态系统高级总监 Will Pitzler 和 Tableau 杰出解决方案工程师 Andrew Hill 描述了一个客户参与案例,团队从中了解到,agent 的准确性在很大程度上取决于其配置、范围界定和维护方式,而不仅仅是运行哪个模型。他们的客户是一家处于高度受监管行业的大型企业,需要能够回答来自 Tableau 数据的特定问题并在 agent 环境中直接根据答案采取行动的 agent。风险很高:在受监管的背景下,基于错误答案采取行动可能成为合规问题,而不仅仅是不便之处。

Tableau 提供了现成的 agent,如 Tableau Agent 和 Pulse 中的 Tableau Agent,它们经过严格范围限定,开箱即用即可提高准确性。但这位客户的需求更高:需要以准确性为首要考量的专业工作流、允许用户在不离开 agent 的情况下根据发现结果采取行动的智能体工作流、嵌入到 Tableau 之外的专用应用程序中、对数据访问和工具权限进行细粒度的开发者控制,以及生产前的验证证明。这促使他们使用 Tableau MCP 构建自定义 agent,它提供了现成 agent 无法提供的控制权,但也要求更严格的测试、更紧密的治理和持续监控。

第一项实践适用于任何 agent,无论是现成的还是定制的:准备数据模型。Agent 的准确性不可能超过它所读取的数据模型的准确性。作者建议将业务逻辑尽可能贴近数据。如果逻辑可以写成计算字段,就编写一个计算字段,以便每次给出相同的答案,而不是留给 agent 去解释。例如,“Open Pipeline”(开放管道)应定义为 IF NOT [Stage] IN ('Closed Won', 'Closed Lost') THEN [Opportunity Amount] END。每个 agent 都应知道的逻辑放入 Tableau Knowledge 的业务偏好或字段描述中。仅适用于单个 agent 的逻辑则放入该 agent 的系统指令中。他们还建议删除重复字段,用单位和注意事项描述字段,基于业务逻辑而非数据库名称命名字段,隐藏无关字段(如连接键),并认证 agent 允许依赖的数据源。

第二项实践是在任何开发开始之前定义 agent 的角色。指向广泛模式的开放式 agent 必须既理解问题又找到包含答案的数据源。消除第二步降低了给出错误答案的风险,并可以加快响应时间。作者挑战他们的客户回答四个问题:Agent 正在解决什么问题?它服务于哪个领域?它能回答什么,不能回答什么?它应该如何回答?这些答案随后决定了 agent 获得哪些数据和工具,并构成其系统提示的核心。

第三项实践是最小权限原则,这是一项长期存在的安全实践,应用于 agent。通过保留额外启用的工具和连接额外的数据源来扩展 agent 的功能是很诱人的,但每增加一项功能都会带来新的故障模式。作者移除了 agent 不需要的所有工具,首先是从 list-datasources 开始,该工具允许 agent 浏览站点上的所有数据源。相反,他们在系统提示中向 agent 提供了它应该使用的特定数据源 ID。这提高了准确性,因为 agent 不会冒险查询相似但不正确的源;提高了速度并降低了成本,因为 agent 不调用的每个工具都节省了一步及其带来的令牌消耗;并强制执行了治理,因为 agent 只能访问批准的数据。然后,他们在 Tableau MCP 本身内部强制执行这些限制,因此用户无法通过在聊天中粘贴不同的数据源 ID 来绕过它们。

第四项实践是可选的,涉及权衡取舍。作者注意到,即使 agent 知道使用哪个数据源,它在每个会话开始时仍然调用 get-datasource-metadata 工具,增加了明显的延迟。为了解决这个问题,他们在 agent 启动时从 Tableau 拉取元数据,动态插入到系统提示中,并完全移除了 get-datasource-metadata 工具。这意味着 agent 在提出每个问题时已经知道当前字段,从而将其响应时间减少了近 50%。然而,这种方法有局限性:如果 agent 有权访问两个以上的数据源,恢复元数据工具以便在运行时解析字段级信息可能更有意义。另一个权衡是新鲜度:因为元数据是在 agent 启动时加载的,数据源的中途更改会使 agent 基于过时的副本工作。对于他们的客户来说,这种风险可以忽略不计,因为数据源被锁定,修改必须通过受控流程进行。

登录 / 注册
阅读研究雷达投资体系

第五项实践解决了重复提问的问题。一旦 agent 投入使用,许多相同的问题反复出现。每次,agent 都必须重建查询,选择合适的字段、过滤器和计算,这消耗了不必要的令牌并打开了另一个出错的机会。对于这些已知问题,作者建议不要依赖 agent 来构建查询。开发人员可以一次性编写并测试查询,并将其作为自定义工具添加到 agent 中。当员工询问常见问题,如“我还剩多少天假期?”时,agent 使用登录员工的 ID 调用该工具,模型只需要解释结果。他们最终不建议追求 agent 100% 的准确性:如果一个问题需要这种程度的确定性,比如馈入财务报告的 FP&A 数字,那就构建一个仪表板。

第六项实践是建立 agent 评估和监控框架。与确定性仪表板不同,agent 并不总是以相同的方式给出相同的答案。诸如重写系统提示、切换模型或添加工具这样的小变化可能会修复一个答案,同时悄悄破坏另一个答案。作者开发了一个由用户问题和正确答案组成的题库,使用像 LangSmith 这样的评估工具针对不同的 agent 配置运行它,并测量每次运行的准确性、延迟和令牌使用情况。对于不太确定性的问题,他们使用了“LLM 作为法官”的方法,由第二个模型评估响应质量。他们对提示和设置进行版本控制,在任何更改上线前运行完整的题库,在生产环境中监控响应时间、令牌使用、工具失败和使用频率,并建立了定期审查流程以向题库中添加新问题。

作者总结了四项原则:始于数据模型;配置比模型更重要;缩小范围提高准确性;生产 agent 需要企业级纪律,如版本控制、测试和持续监控。单独来看,这些都不难。更难的部分是持续维护:随着数据变化更新字段描述,向题库添加新问题,以及监控性能。他们指出,那些将 agent 视为需要维护的产品而非只需交付的项目的团队,其 agent 才能保持准确。所有实践和 50% 的响应时间改进均由 Tableau 自己的产品和工程人员从单个客户参与案例中自我报告,文章未提供独立基准或详细方法来复现这些结果。

来源

  • salesforce.comSalesforce↗
带入研究 →