卷积输给注意力,可能只是训练配方输了
看到视觉 Transformer 在榜单上压过 ResNet,评论常归因于注意力天生更强。
长期信息
看到视觉 Transformer 在榜单上压过 ResNet,评论常归因于注意力天生更强。这篇把老卷积网按对手的训练配方逐项翻新,改出的 ConvNeXt 在 ImageNet 拿到 87.8%,检测分割反超 Swin。
再遇到“某类结构被淘汰”的说法,先查对比双方是否用了同一代训练配方。结构优劣和训练投入要分开算,落后可能只是没被现代化改造。
如果任务不是 ImageNet、COCO、ADE20K 这类基准,或输入分辨率极高,就别用它来判断卷积与 Transformer 谁强。它也只替改造后的卷积网说话,别拿去评判原始 ResNet。
《A ConvNet for the 2020s》(2022)|下次复查 2027-09-20