微软副总裁Scott Hanselman发布开源工具GPU Taskman，用于监控显卡显存与本地大模型内存需求

微软副总裁兼软件开发者Scott Hanselman发布了名为GPU Taskman的开源任务管理器，专门用于监控图形处理单元（GPU）的显存使用情况。该工具运行于Windows、Linux及macOS系统，通过终端界面将进程列表与设备的显存占用、负载、温度等数据相结合，帮助开发者直观了解哪些进程正在消耗显存。

针对本地运行的语言模型（LLM），GPU Taskman能够识别已加载的运行时环境和模型文件，并估算其权重和键值缓存（KV-Cache）所需的存储空间。KV-Cache是Transformer架构中用于加速推理的关键数据结构，其大小随上下文长度增加而增长。该工具区分了实测数据与估算值，避免将未使用的磁盘模型误判为当前活跃进程。

最新版本v0.4.0增加了对Intel GPU在Linux下的更多指标支持，以及华为Ascend NPU的设备监控功能。开发者明确指出该软件仍处于早期实验阶段，特别是模型归属和内存分配计算并非直接测量结果，用户需谨慎对待其估算数据。