图注意力网络：用自注意力机制解决图结构数据的归纳学习难题

在深度学习领域，卷积神经网络（CNN）在处理具有网格结构的数据（如图像）时取得了巨大成功。然而，许多现实世界的数据，如社交网络、生物网络或通信网络，并不具备规则的网格结构，而是以图的形式存在。早期的图神经网络方法主要分为谱方法和非谱方法。谱方法虽然有效，但通常依赖于拉普拉斯算子的特征分解，这意味着训练好的模型难以直接应用于结构不同的新图，限制了其在归纳学习任务中的灵活性。

为了解决这一挑战，Petar Veličković等人提出了图注意力网络（GATs）。该架构的核心创新在于引入了掩码自注意力层。与依赖固定邻域大小或预定义图结构的传统方法不同，GAT允许节点在其邻居的特征上“关注”，并隐式地为每个邻居分配不同的权重。这种机制不仅避免了昂贵的矩阵运算（如求逆），而且不要求预先知道完整的图结构。通过堆叠这些注意力层，模型能够高效地并行处理节点对，并且可以灵活地适应具有不同度数的节点。

GAT的一个关键优势是其归纳学习能力。由于注意力权重是基于节点特征动态计算的，而不是基于固定的图拓扑结构，因此该模型可以直接应用于在训练期间未见过的全新图结构。论文指出，这种方法同时解决了基于谱的图神经网络的几个关键挑战，并在Cora、Citeseer和Pubmed等引用网络数据集以及蛋白质相互作用数据集上达到了或匹配了当时的最先进结果。对于希望理解如何将Transformer中的注意力机制扩展到非欧几里得数据的研究者来说，这是一篇重要的基础文献。建议阅读《Graph Attention Networks》（2017年提交，2018年发表于ICLR），重点关注其如何通过自注意力机制解决图结构数据的归纳学习问题。