卷积输给注意力，可能只是训练配方输了
看到视觉 Transformer 在榜单上压过 ResNet，评论常归因于注意力天生更强。
长期信息
看到视觉 Transformer 在榜单上压过 ResNet，评论常归因于注意力天生更强。这篇把老卷积网按对手的训练配方逐项翻新，改出的 ConvNeXt 在 ImageNet 拿到 87.8%，检测分割反超 Swin。
再遇到“某类结构被淘汰”的说法，先查对比双方是否用了同一代训练配方。结构优劣和训练投入要分开算，落后可能只是没被现代化改造。
如果任务不是 ImageNet、COCO、ADE20K 这类基准，或输入分辨率极高，就别用它来判断卷积与 Transformer 谁强。它也只替改造后的卷积网说话，别拿去评判原始 ResNet。
《A ConvNet for the 2020s》（2022）｜下次复查 2027-09-20