Together AI
4 节点1 篇4 来源
美国AI云服务商Together AI于2026年11月4日正式推出“多态推理”（Polymorphic Inference）概念，并宣布其核心组件Together Compiler已在生产环境中运行。该框架旨在解决开源模型架构多样化、流量形态频繁变化以及硬件迭代加速带来的推理优化难题。与传统依赖人工调优的“静态推理”不同，Together Compiler利用AI代理团队自动重写GPU代码，实现持续编译与优化。据官方数据，该系统在Kimi K3、GLM 5.3等前沿模型上实现了最高2.6倍的吞吐量提升，并将新模型的优化时间从数周缩短至24小时以内。这一举措标志着AI基础设施正从固定配置向自适应、自我改进的系统演进，以应对OpenRouter上80%流量流向近三个月新发布模型的现状。
事情怎么走到这一步
Together AI发布博客文章《From Static to Polymorphic Inference》，正式提出“多态推理”概念，指出当前开源模型架构多样性（Top 10模型均不同）和硬件快速迭代使得传统静态优化失效。
together.ai ↗Together AI同步发布技术论文介绍Together Compiler (TKCC)，称其为首个真正的持续优化循环系统，通过AI代理生成候选优化方案并在持久化引擎中测试，实验吞吐量比基线系统高252倍。
together.ai ↗美联社（AP）报道，Together Compiler已在部分生产工作负载中运行，声称能在不到24小时内将Kimi K3和GLM 5.3的峰值吞吐量分别提升至SemiAnalysis基准最佳结果的1.5倍和1.4倍。
rutlandherald.com ↗Unite.AI分析指出，Together Compiler通过热重载持久化引擎避免了传统系统每次实验需重启引擎的高昂成本（启动时间从467秒降至9秒），从而支持高频次自动化优化。
unite.ai ↗