Strata推理引擎
3 节点1 篇3 来源
开源推理引擎 Strata 通过分层调度技术,使 1800 亿参数的 Qwen3.8-Flash-Next 模型能在消费级硬件上运行。该引擎利用 MoE 架构特性,将活跃专家保留在 GPU 显存,非活跃部分卸载至内存和 SSD,实测在 RTX 5090 上生成速度达 135-145 token/s。德国 iX 杂志于 2026 年 11 月报道了这一突破,指出其解决了大模型本地部署的显存瓶颈。尽管社区存在不同量化版本的速度差异,但 Strata 已证明单卡运行超大稀疏模型的可行性。
事情怎么走到这一步
Medium 文章介绍 Strata 如何在游戏电脑上运行 125B 参数模型,引发社区关注。
medium.com ↗德国 iX 杂志发布测试报告,确认 Strata 在 RTX 5090 上实现约 135-145 token/s 的生成速度。
heise.de ↗GitHub 用户 ExTV 发布针对双卡配置的优化补丁,声称解码速度提升至 250+ token/s。
github.com ↗
还没定论的部分
- 不同量化格式(如 IQ3_S vs Q2_0)对最终输出质量的具体影响程度如何?
- Strata 在非 NVIDIA 硬件(如 AMD Radeon, Apple Silicon)上的实际表现是否与官方宣称一致?
- 随着模型规模进一步增大,现有的 VRAM-RAM-SSD 分层机制是否会遇到新的带宽瓶颈?