阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯快讯1 分钟阅读DisconfirmAI 编辑部

韩国AI基础设施公司MOREH在SC26发布TIDE框架,称推理吞吐量提升1.66倍

MOREH在SC26展示TIDE框架,利用大模型中间隐藏状态在线重训草稿模型,解决推测解码模式不匹配问题。

2026-11-20 07:43

韩国AI基础设施软件公司MOREH在美国芝加哥举行的超级计算大会(SC26)上发布了名为TIDE的推理框架。该框架旨在优化大型语言模型(LLM)服务中常用的“推测解码”技术。推测解码通过让较小的辅助模型预测多个后续词元,再由较大的目标模型进行验证,从而加速生成过程。然而,当用户请求模式发生变化时,静态训练的辅助模型往往预测不准,导致性能下降甚至低于基准线。

TIDE的核心机制是利用大模型在推理过程中产生的“中间隐藏状态”来实时重新训练辅助模型。这种方法无需单独运行大模型以生成训练数据,从而降低了计算开销,并使辅助模型能够适应不断变化的流量模式。系统会实时监控推测解码的效果和辅助模型的预测准确率,在效果不佳时暂停该功能,并在模式改变时触发重训。

据MOREH在SC26公布的结果显示,与不使用推测解码的传统方法相比,TIDE将推理吞吐量提高了最多1.66倍,同时将辅助模型的训练时间减少了最多3.02倍。此外,该公司还演示了一种异构GPU策略,即在Nvidia H100 GPU上运行大模型推理,而在AMD Instinct MI250 GPU上训练辅助模型,声称这使系统整体吞吐量比单一GPU配置提高了最多1.22倍。这些均为厂商自测数据,尚未经过独立复现。

来源

  • platum.kr스타트업 생태계의 모든 것 \'플래텀(Platum)\'↗
带入研究 →
登录 / 注册
阅读研究雷达投资体系