AI跨模态对齐不再需要配对数据

独立训练的AI模型在无需任何配对样本的情况下，也能实现粗粒度的跨模态对齐。

此前，将文本和图像等不同模态的模型连接起来，通常依赖海量的人工标注配对数据。但“柏拉图表征假说”暗示，不同模态的模型可能自发收敛到相似的几何结构。

Schnaus等人提出的Wasserstein Procrustes方法，通过估计一个正交映射来对齐两个独立的嵌入集合。实验显示，标准几何指标可准确预测这种无配对对齐何时可行；在极少配对数据场景下，该方法优于现有方案。

该结果来自10月7日提交的预印本，目前为作者自测基准，尚未经过第三方独立复现。