苹果发布Depth Pro 2:单一网络实现图像与视频锐利且一致的单目深度估计
苹果发布Depth Pro 2,通过单一网络解决单目深度估计中时间一致性与边界锐度的权衡问题。
苹果机器学习研究团队发布了Depth Pro 2,这是一种用于从图像和视频估计密集度量深度的新方法。该模型旨在克服以往单目深度估计方法中的一个持久限制:时间一致性与边界锐度之间的权衡。多帧方法通常有利于跨帧的一致性,但会失去边缘定义;而单帧方法能产生锐利的边界,但在随时间推移的稳定性方面表现不佳。
Depth Pro 2通过训练一个单一、可扩展的网络来解决这一问题,该网络能够以输入的原生全分辨率处理静态图像和视频序列。据苹果称,生成的深度图在度量上准确、物体边缘锐利,并且在帧间保持时间一致性。该公司表示,该模型在所有这些维度上都优于以前的工作,在准确性、锐度、一致性和运行时间方面定义了新的帕累托前沿。
此次发布包括代码和模型权重,使该技术可用于外部评估和集成。这延续了苹果之前的Depth Pro模型,后者专注于为单张图像提供快速、高分辨率的度量深度。Depth Pro 2将这种能力扩展到视频,同时不牺牲其前代产品的锐度或速度特性。