阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯实质变化1 分钟阅读DisconfirmAI 编辑部

亚马逊云科技推出SageMaker JumpStart模型排行榜,标准化基础模型对比

亚马逊云科技在SageMaker Studio中推出新排行榜,使用统一基准测试比较70多个开源模型的质、速、成本。

2026-11-19 06:31

亚马逊云科技(AWS)于2026年11月18日在SageMaker Studio中推出了SageMaker JumpStart模型排行榜。该工具旨在解决开发者在选择基础模型时面临的痛点:以往需要手动从不同来源收集基准分数,且这些分数往往基于不同的测试条件和硬件设置,难以直接比较。

排行榜对来自Meta、Google、Qwen、IBM和Arcee等提供商的70多个开源权重模型进行并排比较。评估涵盖三个维度:质量、速度和成本。在质量方面,AWS使用统一的评估框架对所有模型运行BIG-Bench Hard (BBH)、GPQA Diamond和MMLU-Pro这三个公开推理基准,确保分数的可比性。在性能和成本方面,AWS通过向每个JumpStart部署配置的端点发送标准化测试工作负载来测量首字延迟(TTFT)、每请求吞吐量以及预估实例小时成本。

用户可以根据用例配置文件和优化目标(如平衡成本与延迟或最大化吞吐量)筛选结果。需要注意的是,预估成本仅反映SageMaker实例价格,不包括数据传输、存储等其他潜在费用。这一功能将模型选择从研究密集型任务转变为更简化的操作决策,帮助开发者在部署前快速确定符合技术和预算约束的模型候选名单。

来源

  • aws.amazon.comAmazon Web Services↗
带入研究 →
登录 / 注册
阅读研究雷达投资体系