阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯1 分钟阅读·2026-10-10DisconfirmAI 编辑部

预印本:超网络为284B模型生成LoRA适配器,准确率升至84.9%

新超网络将上下文映射至参数,在284B大模型上实现高准确率适配器生成。

重要性实质性证据E2 未复现写法快讯

原文发布时间 2026-10-09 12:00

重点:一种名为Internalizer的超网络能为2840亿参数的DeepSeek v4 Flash生成文档专用LoRA适配器,在未见过文档上的教师强制Top-1准确率达84.9%,显著高于基线模型的63.4%。

背景:此前将上下文直接映射到LoRA适配器的研究仅在最大140亿参数的基础模型上得到验证,难以扩展至更大规模模型。

结论:该超网络大部分参数位于模型无关的主干中,仅需少量入口和出口层即可移植到大模型。训练完成后,单次前向传播即可将任意文档转换为适配器,支持独立服务以提升速度或与文档窗口结合以提高精度。

边界:数据来自作者自测的预印本(arXiv:2610.11715),基于教师强制评估,尚未有第三方独立复现其实际生成效果。

来源

  • 原始出处arxiv.org↗
带入研究 →
登录 / 注册
阅读研究雷达投资体系