资讯1 分钟阅读·
Intel发布LLM-Scaler-vLLM PV 1.5,升级vLLM至0.26并支持更多模型
Intel更新其Arc显卡AI软件栈,vLLM版本大幅跃升,新增Qwen和Gemma模型支持及FP8量化功能。
重要性局部证据E2 未复现写法快讯
Intel软件工程师于10月16日发布了LLM-Scaler-vLLM PV 1.5,这是其基于Docker容器化技术、专为Intel Arc图形硬件打造的AI/LLM运行环境。该工具源自Project Battlematrix计划,旨在简化在Arc显卡上部署大语言模型的流程。
此次更新最显著的变化是底层框架的版本跳跃:vLLM从0.14升级至0.26,PyTorch从2.10升级至2.12。尽管仍落后于上游社区的最新版本(vLLM目前为0.31),但这一升级使Intel的软件栈更接近当前主流状态。
在模型兼容性方面,新版本增加了对Qwen3.6-27B、Qwen3.8-27B、Qwen3.6-35B-A3B以及Gemma-4系列模型的支持。同时,软件栈现在支持在线FP8和对称INT4量化,以及FP8 KV缓存。Intel称这些改进带来了更快的首字生成时间(TTFT)和优化的LoRA服务性能,但这些数据属厂商自测结果。