资讯1 分钟阅读·
预印本：8B小模型在GPU内核优化任务中超越GPT-6等前沿大模型
新训练方法使8B参数模型在TVM编译器脚本生成上的正确率和性能优于参数量大数百倍的前沿LLM。
重要性实质性证据E2 未复现写法快讯
一项名为“Little Dragon”的80亿参数语言模型在GPU内核优化任务中，其单次尝试正确率（构建91.27%，改进92.01%）和生成的内核性能均超过了包括GPT-6 Astra、Opus 5在内的六个前沿大模型。该结果来自10月14日提交的arXiv预印本《How to Train Your Little Dragon》。
研究团队利用TVM MetaSchedule框架在54,116个工作负载上构建训练数据，通过监督微调结合强化学习，教会小模型直接生成完整的编译器优化脚本，而非仅排名候选项或生成原始代码。这种紧凑且无损的表示法允许确定性解码重建精确的编译器轨迹。
这一发现表明，针对特定领域（如编译器优化）进行专门训练的小模型，可能在效率和效果上优于通用巨型模型，为降低AI基础设施中的推理成本提供了新路径。但需注意，此为作者自测基准，尚未经过独立复现验证。