新架构赢了旧模型，未必是架构的功劳
评测榜上，Transformer系的新图片模型压过靠局部小窗看图的老式卷积网络，人们把这归功于架构。
评测榜上，Transformer系的新图片模型压过靠局部小窗看图的老式卷积网络，人们把这归功于架构。论文把老卷积网络照对手的方式翻新，只留局部看图这一条。最常用的图片测试集上正确率87.8%，检测、分割也反超。
再看到“新架构碾压旧方法”的说法，先问两边的训练设置对齐了没有：数据量、练多久、增强手段。没对齐的差距，先记在训练投入头上，再谈架构优劣。
如果任务不是这类标准图片测试——比如极高分辨率的输入——就别用它来判断架构高下。它也没证明不翻新的老网络本来就能打，能打的是翻新后的那一个。
《A ConvNet for the 2020s》（2022）｜下次复查 2027-09-20