阅读研究雷达投资体系
登录 / 注册
← 返回阅读
专题DisconfirmAI 编辑部更新于 2026-11-16 03:25

Strata推理引擎

3 节点1 篇3 来源

开源推理引擎 Strata 通过分层调度技术,使 1800 亿参数的 Qwen3.8-Flash-Next 模型能在消费级硬件上运行。该引擎利用 MoE 架构特性,将活跃专家保留在 GPU 显存,非活跃部分卸载至内存和 SSD,实测在 RTX 5090 上生成速度达 135-145 token/s。德国 iX 杂志于 2026 年 11 月报道了这一突破,指出其解决了大模型本地部署的显存瓶颈。尽管社区存在不同量化版本的速度差异,但 Strata 已证明单卡运行超大稀疏模型的可行性。

事情怎么走到这一步

  1. 2026-10-04

    Medium 文章介绍 Strata 如何在游戏电脑上运行 125B 参数模型,引发社区关注。

    medium.com ↗
  2. 2026-11-11

    德国 iX 杂志发布测试报告,确认 Strata 在 RTX 5090 上实现约 135-145 token/s 的生成速度。

    heise.de ↗
  3. 2026-11-13

    GitHub 用户 ExTV 发布针对双卡配置的优化补丁,声称解码速度提升至 250+ token/s。

    github.com ↗

还没定论的部分

  • 不同量化格式(如 IQ3_S vs Q2_0)对最终输出质量的具体影响程度如何?
  • Strata 在非 NVIDIA 硬件(如 AMD Radeon, Apple Silicon)上的实际表现是否与官方宣称一致?
  • 随着模型规模进一步增大,现有的 VRAM-RAM-SSD 分层机制是否会遇到新的带宽瓶颈?

来源

登录 / 注册
阅读研究雷达投资体系
heise.de
iX Magazin 测试报告
↗
  • github.comStrata GitHub 仓库↗
  • raytone-lab.github.ioRTX 5090 本地推理基准数据集↗
  • 这一专题下的内容

    • Strata 如何让 1800 亿参数模型跑在游戏电脑上2026-11-11资讯

      开源推理引擎 Strata 利用 Qwen3.8-Flash-Next 的 MoE 架构,将 1800 亿参数模型分布在显存、内存和 SSD 上,在 RTX 5090 上实测达到约 135-145 token/s 的生成速度。iX 杂志作者 Christian Winkler 解释了这一分层调度的具体机制。