Datadog工程师:微调前基准测试发现,基础模型的问题不是写不好摘要而是写不完
Datadog Patterns团队在微调Qwen 3.5 9B前先用基准测试诊断问题,发现基础模型并非摘要质量差,而是在写出摘要前就耗尽了token预算。他们随后用生产LLM span构建训练数据集,通过Baseten Loops训练LoRA适配器,将平均生成时间从44.7秒降至0.89秒。
Datadog的Patterns功能负责将应用的生产LLM流量聚类为相似主题。在聚类之前,它用一个大模型把每条采样交互压缩成一句摘要。团队发现,这一步骤占Patterns运行p99成本的约80%、p90延迟的约50%。他们决定微调一个更小的模型来替代,但关键的第一步不是直接训练,而是先搞清楚基础模型到底差在哪里。
团队使用pup finetune的benchmark命令,在Baseten上重放留出的测试用例,让一个LLM裁判判断每个回答是否可以替代原始记录。结果出乎意料:基础模型Qwen 3.5 9B的问题不是摘要质量,而是token预算。它经常在写出摘要之前就把全部预算花在了推理上。83次失败中有78次是耗尽token或无法解析,而非内容错误。当它确实完成时,摘要质量是好的,只是太慢。这个诊断直接指向了微调能解决的问题:模型已经会做这个任务,但需要改变它回答的方式——直接输出短摘要,而不是先做冗长推理。
确定了问题性质后,团队用pup finetune dataset pull从Agent Observability中拉取Patterns摘要器的生产LLM span。每条span包含输入交互、聚类指令和前沿模型写出的摘要,被转化为一条训练对话:输入消息保持不变,摘要作为目标答案。为避免模型只学会某一条指令,他们混合了多种聚类指令构建数据集。pup finetune按trace划分训练、验证和测试集,同一条trace的所有行进入同一分片,防止数据泄漏。
训练阶段使用Baseten Loops SDK训练LoRA适配器,每个epoch后在验证集上测量损失,验证损失不再改善时提前停止并保留最佳checkpoint。评估阶段用pup finetune evaluate同时重放基础模型和微调模型的结果,由LLM裁判打分。在150个留出测试用例上,微调模型的裁判通过率从基础模型的44.7%升至93.3%,平均生成时间从44.7秒降至0.89秒。
需要指出的是,这是Datadog在单一摘要任务上的自报结果。基础模型的失败模式——推理耗尽token——与Qwen 3.5 9B在此特定任务上的行为绑定,不一定推广到其他模型或任务。pup finetune工具链与Datadog Agent Observability深度集成,将生产span转化为训练数据的具体流程在其他监控体系下需要适配。不过,先诊断再训练、用已有生产trace构建数据集、按trace划分防止泄漏,这些步骤本身是可迁移的工程实践。