ReadingResearchRadarInvestment framework
Sign in / Sign up
← Back to reading
TopicDisconfirmAI EditorialUpdated 2026-11-16 03:25

Strata推理引擎

3 steps1 pieces3 Sources

开源推理引擎 Strata 通过分层调度技术,使 1800 亿参数的 Qwen3.8-Flash-Next 模型能在消费级硬件上运行。该引擎利用 MoE 架构特性,将活跃专家保留在 GPU 显存,非活跃部分卸载至内存和 SSD,实测在 RTX 5090 上生成速度达 135-145 token/s。德国 iX 杂志于 2026 年 11 月报道了这一突破,指出其解决了大模型本地部署的显存瓶颈。尽管社区存在不同量化版本的速度差异,但 Strata 已证明单卡运行超大稀疏模型的可行性。

How it got here

  1. 2026-10-04

    Medium 文章介绍 Strata 如何在游戏电脑上运行 125B 参数模型,引发社区关注。

    medium.com ↗
  2. 2026-11-11

    德国 iX 杂志发布测试报告,确认 Strata 在 RTX 5090 上实现约 135-145 token/s 的生成速度。

    heise.de ↗
  3. 2026-11-13

    GitHub 用户 ExTV 发布针对双卡配置的优化补丁,声称解码速度提升至 250+ token/s。

    github.com ↗

What is still unsettled

  • 不同量化格式(如 IQ3_S vs Q2_0)对最终输出质量的具体影响程度如何?
  • Strata 在非 NVIDIA 硬件(如 AMD Radeon, Apple Silicon)上的实际表现是否与官方宣称一致?
  • 随着模型规模进一步增大,现有的 VRAM-RAM-SSD 分层机制是否会遇到新的带宽瓶颈?

Sources

Sign in / Sign up
ReadingResearchRadarInvestment framework
heise.deiX Magazin 测试报告↗
  • github.comStrata GitHub 仓库↗
  • raytone-lab.github.ioRTX 5090 本地推理基准数据集↗
  • Coverage in this topic

    • How Strata Runs a 180-Billion-Parameter Model on a Gaming PC2026-11-11News

      The open-source inference engine Strata leverages the Mixture-of-Experts (MoE) architecture of Qwen3.8-Flash-Next to distribute an 180-billion-parameter model across VRAM, system memory, and SSDs, achieving a measured generation speed of approximately 135–145 tokens per second on an RTX 5090. Christian Winkler, author for iX Magazin (Germany), explains the specific mechanisms behind this tiered scheduling.