概述

虽然RGB-D相机前景无限，但是受制于物理硬件的限制，目前深度相机输出的depth图还有很多问题，比如对于光滑物体表面反射、半/透明物体、深色物体、超出量程等都会造成深度图缺失。而且很多深度相机是大片的深度值缺失，这对于算法工程师来说非常头疼。

因此，深度图补全一直是一个非常有用的研究方向，之前的文献大都只能补全比较小范围的深度缺失，对于较大深度值缺失的情况无能无力，本文介绍的是2018 CVPR 最新的一项研究deep depth completion，不受RGB-D相机类型的限制，只需要输入一张RGB加一张depth图，可以补全任意形式深度图的缺失。对于算法工程师来说真的是喜大普奔啊，目前主要针对的是室内环境。

数据集

本文引入新数据集，基于Matterport3D数据集重新构建完整的深度图像，总体而言，该数据集包含117,516个具有渲染完成效果的RGB-D图像，分为包含105,432张图像的训练集和包含1,2084张图像的测试集。

具体而言，作者利用现有的消费级RGB-D相机拍摄的数据集（Matterport3D、ScanNet、SUN3D、SceneNN）先进行稠密的三维重建，然后再进行优化和渲染。虽然单一视角的深度图可能会有因为不同原因引起的缺失，但是经过多个不同视角的重建和优化，这些缺失的地方都被填补了。然后将其深度结果反投影回到输入深度图。最后得到的深度图就是groundtruth啦，简直完美！省时省力省钱，还顺带学习了稠密三维重建，就是这么棒！看看下面的图，还是比较形象的，黄色代表不同视点的图，红色是当前视点渲染后的深度图。

Depth Representation

什么几何表示法最适合深度补全？

• 方法一，直接表示，设计一个从原始深度和颜色回归完整深度的网络。
• 方法二，间接表示，本文关注与预测表面法线和遮挡边界。由于法线是不同的表面性质，它们只依赖于像素的局部领域。
  【问题：如何使用预测的表面法线和遮挡边界来完成深度图像】
  理论上不可能只从表面法线和遮挡边界来解决深度问题。但是现实中，可以使深度不确定的部分相对于图片的其他部分，也就是说，对于现实场景来说，图像区域不太可能同时被遮挡边界包围，并且根本不包含原始深度观察。因此，发现在深度图像中，即使是较大的空洞，也可以使用预测表面法线来完成，用预测遮挡边界加权的相干性和受观测原始深度约束的正则化来完成。