독서리서치레이더투자 프레임워크
로그인 / 회원가입
← 읽기로 돌아가기
주제DisconfirmAI 편집부업데이트됨 2026-11-16 03:25

Strata推理引擎

3 단계1 건3 출처

开源推理引擎 Strata 通过分层调度技术,使 1800 亿参数的 Qwen3.8-Flash-Next 模型能在消费级硬件上运行。该引擎利用 MoE 架构特性,将活跃专家保留在 GPU 显存,非活跃部分卸载至内存和 SSD,实测在 RTX 5090 上生成速度达 135-145 token/s。德国 iX 杂志于 2026 年 11 月报道了这一突破,指出其解决了大模型本地部署的显存瓶颈。尽管社区存在不同量化版本的速度差异,但 Strata 已证明单卡运行超大稀疏模型的可行性。

현재까지의 과정

  1. 2026-10-04

    Medium 文章介绍 Strata 如何在游戏电脑上运行 125B 参数模型,引发社区关注。

    medium.com ↗
  2. 2026-11-11

    德国 iX 杂志发布测试报告,确认 Strata 在 RTX 5090 上实现约 135-145 token/s 的生成速度。

    heise.de ↗
  3. 2026-11-13

    GitHub 用户 ExTV 发布针对双卡配置的优化补丁,声称解码速度提升至 250+ token/s。

    github.com ↗

아직 해결되지 않은 문제

  • 不同量化格式(如 IQ3_S vs Q2_0)对最终输出质量的具体影响程度如何?
  • Strata 在非 NVIDIA 硬件(如 AMD Radeon, Apple Silicon)上的实际表现是否与官方宣称一致?
  • 随着模型规模进一步增大,现有的 VRAM-RAM-SSD 分层机制是否会遇到新的带宽瓶颈?

출처

로그인 / 회원가입
독서리서치레이더투자 프레임워크
heise.de
iX Magazin 测试报告
↗
  • github.comStrata GitHub 仓库↗
  • raytone-lab.github.ioRTX 5090 本地推理基准数据集↗
  • 이 주제 커버리지

    • How Strata Runs a 180-Billion-Parameter Model on a Gaming PC2026-11-11뉴스

      The open-source inference engine Strata leverages the Mixture-of-Experts (MoE) architecture of Qwen3.8-Flash-Next to distribute an 180-billion-parameter model across VRAM, system memory, and SSDs, achieving a measured generation speed of approximately 135–145 tokens per second on an RTX 5090. Christian Winkler, author for iX Magazin (Germany), explains the specific mechanisms behind this tiered scheduling.