Datadog
5 节点1 篇5 来源
Datadog工程师在排查内部AI应用的大语言模型（LLM）成本时发现，尽管提示缓存（Prompt Caching）看似已启用，但实际命中率极低甚至为零，导致每次请求都重复支付高昂的输入Token费用。通过Cloud Cost Management和Agent Observability工具，团队定位到四种导致缓存静默失效的代码层面陷阱：Go map遍历顺序不确定导致工具列表前缀变化、动态时间戳置于静态指令之前破坏前缀匹配、SDK选项未正确传递至底层请求体、以及误用不支持缓存的Anthropic OpenAI兼容路由。这一发现揭示了提示缓存作为“前缀匹配”机制的脆弱性，任何位于可复用内容之前的微小变动都会使后续所有计算失效。
事情怎么走到这一步
Mastra框架用户报告Datadog LLM Observability未在Span中显示缓存读取Token，引发对观测数据准确性的关注。
github.com ↗Datadog发布博客《Monitor prompt caching to optimize your token usage》，介绍如何通过设置断点优化缓存策略，指出Anthropic和OpenAI的缓存机制差异。
datadoghq.com ↗开发者Mike Bifulco发表文章分析“零命中率”原因，指出将`toISOString()`生成的毫秒级时间戳放在长系统提示词之前是常见错误。
mikebifulco.com ↗Datadog发布详细调查报告《How we investigated prompt cache misses with Datadog agent observability》，披露内部应用因Go map无序、参数缺失及API路由问题导致的缓存失效案例及修复方案。
datadoghq.com ↗Datadog在GitHub仓库`datadog-saist`提交修复代码，调整提示词结构以最大化缓存前缀稳定性，并增加RepositoryID等上下文隔离。
github.com ↗