Saluki 27B模型

Underdog发布基于Qwen3.8-27B的2-bit量化模型Saluki，体积仅7.89GB。该模型在工具调用任务上自报优于54GB的原版模型，但在数学推理和复杂编码任务中性能显著下降。

【背景】Saluki旨在让本地开发者在16GB RAM笔记本上运行具备代理能力的LLM，采用Apache 2.0开源协议，兼容标准llama.cpp运行时。

时间线：

• 2026-10-08: Underdog正式推出Saluki 27B，宣称其保留了原版96%的平均基准测试性能，且文件体积缩小近7倍。来源 ↗
• 2026-10-09: 多家媒体及社区分析指出，虽然Saluki在BFCL v4工具调用测试中得分88（高于原版的84），但在AIME数学竞赛等推理任务中得分仅为原版的82%-85%。来源 ↗

争议与权衡： 厂商强调其在“工具调用”这一代理核心能力上的突破，认为这是本地部署的最佳选择。然而，独立评测者指出，这种优势是以牺牲多步推理和数学能力为代价的。此外，由于部分对比数据来自不同测试框架（如公开分数vs内部复现），跨模型的直接比较存在不确定性。【存疑】官方未公布具体的量化训练配方，导致社区难以完全复现或验证其压缩效率。

后续观察：

1. 社区是否能在标准llama.cpp环境下稳定复现其并行工具调用的高成功率。
2. 是否有第三方在统一硬件条件下对Saluki与其他2-bit模型（如Bonsai 2）进行更严格的端到端代理工作流测试。