资讯1 分钟阅读·
vLLM集成NVIDIA硬件视频解码,称多GPU视频标注吞吐翻倍以上
vLLM项目9月18日宣布,标准CUDA发行版已集成NVIDIA的PyNvVideoCodec硬件视频解码(NVDEC),把视频标注任务的帧解码从CPU移到GPU。NVIDIA视觉团队自报:此前8卡内的工作负载常在4卡前耗尽CPU,现可扩展至8卡,8
重要性局部证据E2 未复现
vLLM项目9月18日宣布,标准CUDA发行版已集成NVIDIA的PyNvVideoCodec硬件视频解码(NVDEC),把视频标注任务的帧解码从CPU移到GPU。NVIDIA视觉团队自报:此前8卡内的工作负载常在4卡前耗尽CPU,现可扩展至8卡,8xH100吞吐较CPU解码翻倍以上;该基准来自其自动驾驶标注场景。
来源:vLLM官方博客:Scaling Multi-GPU Video Captioning with PyNvVideoCodec and vLLM ↗