新架构赢了旧模型,未必是架构的功劳
评测榜上,Transformer系的新图片模型压过靠局部小窗看图的老式卷积网络,人们把这归功于架构。
评测榜上,Transformer系的新图片模型压过靠局部小窗看图的老式卷积网络,人们把这归功于架构。论文把老卷积网络照对手的方式翻新,只留局部看图这一条。最常用的图片测试集上正确率87.8%,检测、分割也反超。
再看到“新架构碾压旧方法”的说法,先问两边的训练设置对齐了没有:数据量、练多久、增强手段。没对齐的差距,先记在训练投入头上,再谈架构优劣。
如果任务不是这类标准图片测试——比如极高分辨率的输入——就别用它来判断架构高下。它也没证明不翻新的老网络本来就能打,能打的是翻新后的那一个。
《A ConvNet for the 2020s》(2022)|下次复查 2027-09-20