PC Watch实测64GB版RTX Spark笔记本:可本地运行27B大模型,但带宽限制致速度低于桌面GPU
PC Watch对搭载NVIDIA RTX Spark芯片的64GB内存笔记本进行基准测试,显示其能流畅运行27B参数大模型及生成短视频,但受限于约300GB/s的内存带宽,推理速度显著慢于配备独立显存的高端桌面显卡。
日本科技媒体PC Watch发布了对搭载NVIDIA RTX Spark N1X芯片、配备64GB统一内存的华硕ProArt P16笔记本电脑的详细基准测试结果。该测试旨在评估在移动设备上运行本地人工智能工作负载的实际能力与限制。
在大型语言模型(LLM)推理方面,测试使用Qwen3.8-27B模型(Q4_K_M量化),平均生成速度约为32 tokens/s。这一速度足以支持实时的文本交互和代码辅助。然而,当输入上下文长度增加至65,536 tokens时,首个token的延迟高达约102秒,表明长文档处理存在明显的等待瓶颈。
在图像和视频生成任务中,该设备使用ComfyUI工作流生成一张1024x1024像素的图片需约14至40秒,生成一段5秒的视频需约69秒。虽然这些时间允许创作者在现场快速迭代视觉概念,但与高端桌面GPU相比仍有差距。
性能差异的主要原因是内存带宽。RTX Spark N1X的最大内存带宽约为300GB/s,而对比测试中的NVIDIA GeForce RTX 5090桌面显卡拥有1,792GB/s的带宽。尽管RTX Spark通过CPU和GPU共享大容量统一内存提供了更大的模型承载空间,但其数据吞吐率限制了计算密集型任务的执行速度。
此外,测试指出64GB内存并非全部可用于GPU加速,操作系统和应用需占用部分资源。在Windows设置中,分配给GPU的内存上限被调整为40GB。这进一步强调了在规划本地AI部署时,需区分“总内存容量”与“可用VRAM等效容量”。