Intuit Credit Karma工程师Harish Gaggar详解受治理的企业AI代理基础设施
在AI Engineer大会演讲中，Intuit Credit Karma的Harish Gaggar概述了部署受治理企业AI代理的“铺平道路”方法。该环节涵盖注册工作流、用于认证的集中式MCP网关、带有人工审批的LangGraph策略以及使用OpenTelemetry的可观测性。还讨论了PII过滤和上下文优化策略，为将代理从实验转向生产提供了参考架构。
AI Engineer大会演讲者、Intuit Credit Karma工程师Harish Gaggar详细讲解了将企业AI代理从本地开发推向生产环境所需的基础设施。演讲聚焦于“铺平道路”——一种标准化部署流程，确保代理能一致地访问身份、记忆、追踪、评估和密钥处理。
Gaggar描述了一种架构，其中集中式模型上下文协议（MCP）网关位于代理和工具之间，管理每个请求的认证和路由。自定义MCP服务器暴露经过审查的工具，而通过OpenTelemetry、Tempo、Prometheus和Grafana维持可观测性，使团队能够监控故障、延迟和访问行为。
该环节详细介绍了结合策略检查和敏感操作人工审批的LangGraph工作流。状态管理通过线程、运行和检查点处理，单独的跟踪表记录模型使用、工具调用、成本和评估字段。Gaggar强调，这些记录允许检查代理行为，而不是为整个系统建立验证的质量分数。
安全和效率措施包括一个旨在拦截敏感输入到达模型或追踪之前的PII过滤层，尽管检测仍是一个需要评估的控制措施而非保证。此外，演示了修剪、重排、去重和压缩等上下文优化技术，显示特定查询中的显著令牌减少，但未提供配对的答案质量研究或测量的业务ROI。