三块退役V100显卡以千美元成本在长上下文推理中超越五千美元Mac Studio
自测数据显示,三块Nvidia V100组成的千元级主机在Qwen 3.6 35B模型长上下文推理速度上超过高端M5 Max Mac Studio。
据Tom's Hardware报道,一位名为esologic的自建实验室(homelab)构建者对三块二手Nvidia Tesla V100 GPU进行了基准测试,结果显示其在运行Qwen 3.6 35B混合专家(MoE)模型时,总成本约1,042美元的硬件配置在长上下文场景下的推理速度超过了售价5,399美元的Apple M5 Max Mac Studio。
该测试使用llama.cpp框架,对比了不同量化精度和上下文长度下的生成速度。在8位量化(Q8)下,三块V100在4K上下文时达到100.8 tokens/秒,在128K上下文时降至72.7 tokens/秒。相比之下,配备40核GPU和128GB统一内存的M5 Max Mac Studio在4K时略快(105.5 tokens/秒),但在64K和128K长上下文时落后于V100集群,后者在128K时比前者快约19%。
值得注意的是,V100是较旧的“电子垃圾”级企业GPU,其优势在于显存容量和带宽的组合使得多卡并行能处理更大的模型或更长的上下文,而现代消费级设备如Mac Studio虽在短上下文和能效上可能占优,但在特定长文本负载下被低成本旧硬件超越。该构建者还指出,V100的能耗约为同数量P100的一半。由于测试基于不同的运行时环境(llama.cpp vs MLX),数据仅供参考,且未包含独立第三方验证。