资讯1 分钟阅读·
研究者称单次训练FLOP上限可被暗中绕过
GPAI Policy Lab作者提出权重走私论点,属未实现的分析主张,监管设计者可作风险提示参考。
重要性局部证据E2 未复现写法快讯
GPAI Policy Lab两位作者在LessWrong发文称,按单次训练运行设定FLOP上限的监管思路可能被暗中绕过。
论点有两条路径:一是把先前模型的权重编码进训练数据,开跑时解码注入,作者称LoRA近似使这很容易隐藏;二是事后合并多个并行运行的结果,例如模型汤(model souping)。两者都形式上不超出单次运行的算力上限。
作者自评对原理有九成以上把握,但承认尚无完整实现,缓解手段是否有效也不确定。他们提出的替代方案是覆盖全部训练的全局算力预算,但阈值设定与分配问题未解。这是研究论点,不是已验证的攻击,也没有针对任何现行法规。