AI数据公司Snorkel称弹性突发机制使其Agent模拟沙箱成本降低约20%
Snorkel的Agent模拟面临资源使用尖峰化和工作负载不可预知的双重难题，静态配置导致失败或浪费。该公司采用Modal的弹性突发机制按需扩展资源，AI平台高级经理称沙箱总账单因此降低约20%，目前约10-15%的沙箱已启用该功能。
Agent模拟的资源配置有一个根本矛盾：沙箱内的代码全部由大语言模型生成，运行模式无法预先确定。一个沙箱的生命周期内，往往先经历等待模型响应的静默期，紧接着出现grep命令或文件遍历之类的瞬时尖峰。尖峰的高度取决于模型恰好生成了什么代码，这在配置时是不可知的。
AI数据公司Snorkel此前为每个沙箱估算CPU和内存配额，结果两头不讨好：配额不足时任务中途崩溃，整次运行作废；配额充裕时资源闲置，花费效率低下。Snorkel的AI平台高级经理Rustem Feyzkhanov说，他们需要在不超配的前提下支撑来自领域专家和Agent的各种任务。
Modal提供的弹性突发机制改变了这一局面。沙箱在配置时指定一个基线资源量，运行时可以按需向上扩展CPU或内存。计费规则取实际用量与请求量中的较高者。这意味着Snorkel可以把初始请求调低——因为突发能力兜底了尖峰——而不必再为最坏情况预留余量。Feyzkhanov称，这一变化使他们的沙箱总账单降低了约20%。
目前约10-15%的Snorkel沙箱启用了突发功能，团队仍处于早期采用阶段。但这一机制解决的不只是成本问题。当资源配额不再需要为不可预知的尖峰留余量时，评估结果的可靠性也随之提升——因资源不足而失败的运行减少了，这些失败本身会污染基准测试数据。
Snorkel每月运行数百万次Agent模拟，峰值时段每小时创建数万个沙箱。评估环境需要尽可能接近Agent实际将面对的工作条件：ML Agent需要GPU来训练模型，基础设施Agent可能需要完整的Linux内核。如果环境不真实，就无法区分Agent的失败究竟源于缺少工具还是源于自身能力不足。Feyzkhanov说，Modal的沙箱让他们能在数百万次模拟中复现从多容器基础设施到GPU深度学习环境的复杂系统。