深度估计新秀Depth Pro：一秒内实现高精度单目深度测量

链接

代码网址

Depth Pro 是一个为零样本单目深度估计设计的基础模型，能够生成高分辨率、细节清晰且尺度精准的深度图，无需相机内参等元数据。它在 V100 GPU 上，每 0.3 秒可以生成一张 2.25 百万像素的深度图。关键创新包括多尺度视觉变换器用于密集预测任务、结合真实和合成数据的训练方法以提高精度、新的评估指标以衡量深度图的边界精度以及仅凭一张图像就能实现最先进的焦距估计。在多种性能指标上，Depth Pro 均超越了以往的模型。

Depth Pro 使用 ViT 编码器处理多尺度图像补丁，并将各个尺度的预测融合成单一的高分辨率深度图。它采用两个 ViT 编码器：一个补丁编码器用于尺度不变学习，另一个图像编码器用于全局上下文。网络以固定的 1536×1536 分辨率运行，以平衡大感受野与稳定运行时间和避免内存错误。输入图像被下采样并划分为 384×384 的补丁，更细的尺度下使用重叠补丁以避免出现缝合线问题。这些补丁被独立处理，从而实现并行化和计算效率。网络的基于补丁的设计比直接放大 ViT 更高效，因为多头自注意力机制的复杂度与输入像素数量的平方成正比。

训练过程侧重于从相机视场缩放后的逆深度图像预测度量深度图。模型通过多个目标训练，优先考虑靠近相机的区域以增强视觉效果，特别是在像新视图合成这样的任务中。训练使用了真实世界和合成数据集，重点是处理潜在的嘈杂真实世界数据时的典型逆深度。采用两阶段训练流程：第一阶段利用所有标注数据集的混合实现跨域泛化，第二阶段则在合成数据集上进行微调，以提高边界清晰度并捕捉更细微的细节。

关键的损失函数包括用于深度预测的MAE损失，以及梯度和拉普拉斯误差项，用于优化边界细节。训练采用了一阶和二阶导数损失的组合以提高图像的锐度，特别是在合成数据上。

为了应对图片中可能存在的EXIF元数据不准确或缺失的问题，Depth Pro 包含了一个焦距估计头。这个小型的卷积模块利用了来自深度估计网络的固定特征以及来自独立的 ViT 图像编码器的额外特征，来预测水平视角范围。焦距头与深度估计网络分开进行训练，使用 L2 作为损失函数。这种分离避免了深度估计和焦距预测之间的目标冲突，并允许在不同的数据集上进行单独训练：它排除了窄领域、单摄像头的数据集，并纳入了大规模图像数据集，这些数据集提供了焦距的监督信息但缺少深度的监督信息。

下面是一些实验

Depth Pro 在诸如 Booster、Middlebury、SunRGBD、ETH3D、nuScenes 和 Sintel 等多个数据集上表现优于许多竞争对手，并在性能评估中名列前茅。评估采用 δ1 指标，该指标衡量像素中预测深度与实际深度差异在 25% 以内的比例。

其他指标，如 AbsRel、Log10、δ²、δ³ 和点云指标证实了某些模型（如 Depth Anything 和 Metric3D）在特定领域的偏差，这些模型依赖于特定领域的模型或裁剪尺寸的调整，因此违反了零样本学习的前提。相比之下，Depth Pro 展现出强大的泛化能力，并且在所有数据集中的排名始终靠前，取得了最佳的平均排名成绩。

Depth Pro在所有数据集上都优于其他基线模型，特别是在边界准确性方面。特别是在捕捉锐利边界和细小结构，如头发和毛发方面表现出色。Depth Pro的召回率始终超过其竞争对手。即使与训练了数十亿图像的扩散模型Marigold或采用可变分辨率方法的PatchFusion等模型相比，Depth Pro的召回率依然更高。在运行速度上，Depth Pro比Marigold和PatchFusion更快，同时保持了更高的精度。

作者解决了野外图像中焦距估计器全面评估不足的问题，通过整理一个零样本测试数据集。该数据集包含了从FiveK（单反相机照片）、SPAQ（手机照片）、PPR10K（人像图像）和ZOOM（不同变焦级别的场景）等来源收集的多样化图像，且每个图像都附带完整的EXIF数据。Depth Pro与业界领先的焦距估计器进行了对比，结果显示它在所有数据集上都胜过其他竞争对手。例如，在PPR10K数据集上，Depth Pro预测结果中有64.6%的相对误差低于25%，相比之下，第二好的方法SPEC仅为34.6%。

该模型在处理半透明材质和体积散射时存在局限，因为单像素深度的定义在此情况下难以确定。