阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯快讯1 分钟阅读DisconfirmAI 编辑部

律师用12块二手英伟达V100搭建AI服务器,运行DeepSeek V4.1 Flash模型速度达184 tokens/s

一位律师升级其私人AI服务器,在旧硬件上成功运行完整DeepSeek V4.1 Flash模型,实现高速度与低成本。

2026-11-20

律师Nick Mermiges将其私人AI服务器从8块升级为12块二手英伟达V100 GPU,总成本为9,450美元。该系统现在使用4位NVFP4量化技术运行DeepSeek V4.1 Flash模型的所有专家网络,在代码生成任务中达到每秒184个token的速度。

此次升级解决了内存限制问题:原来的8块卡提供254 GiB内存,但模型专家网络以NVFP4格式加载时需要278.9 GiB。此前,Mermiges不得不将大多数专家网络压缩至2位精度。随着第三块包含4张V100卡的板卡加入,所有15,360个专家网络现在都可以以预期的4位精度驻留在卡上,无需进一步压缩。

一个关键的技术限制是,2018年发布的英伟达V100架构缺乏原生的FP4或FP8张量核心。因此,每个NVFP4值必须通过软件解包为半精度浮点数才能进行计算。性能提升来自于减少内存带宽使用——读取更少的字节——而不是更快的算术运算。

Mermiges报告称,256K上下文窗口的第一个token延迟降至58秒,比之前的设置快了近一倍。提示词读取速度超过每秒4,500个token。他声称,这种配置在单请求解码方面优于已发布的三台英伟达DGX Spark堆栈,而成本仅为其一半左右。

该系统采用特定拓扑结构,层分布在三个板卡上,每个板卡包含四张通过NVLink连接的卡。前两个板卡之间的交接发生在共享的PCIe交换机内,但与第三个板卡的通信跨越主机PCIe桥接器,增加了延迟。每张卡的功率上限提高到175瓦,尽管将其推至200瓦会在重负载多聊天期间导致系统不稳定。

来源

  • tomshardware.com
登录 / 注册
阅读研究雷达投资体系
Tom's Hardware
↗
带入研究 →