CLD_MVS
# summarized
- CLD_MVS管道由 初始重建,自信度预测,自信度驱动,边界插值,像素级优化。
- 提出了一种normal-aware PatchMatch来提高法线贴图的精度。
- 提出了一种基于置信度驱动和边界感知的插值方式,获得可靠的先验深度图。将空间置信度和视差图置信度结合来检测可靠的地面控制点。
- 通过高度匹配误差提高视差图的精度。
# Related Work
MVS方法可以分为四个类别
# volumetric-based
假设3D场景嵌入在一个预先定义的3D体块中。
# mesh-based
对三角mesh进行最小化能量函数变形对齐到真是表面。
# feature-based
重建有特征点的区域。
# depth map-based
一般分为两个阶段深度估计和深度融合。每一张图项选择视图然后建立局部关联,提出外点,然后点云融合。
# Confidence Prediction
置信度度量方法可以改善立体匹配中的视差图。
# Approach
该方法的主要思想是基于真实场景中存在许多底纹理表面,且难以通过多视图匹配进行可靠重构的假设,我们提出了充分利用可靠重构部分来帮助不可靠重构部分的方法。我们首先需要一个初始的稠密重建和一个检测重建好部分的置信度的方法。然后使用一个可靠的插值方法来填充缺失的表面来改善视差图的一致性和几何细节。在给定一个参考视图,采用一下四个步骤来估计深度图和法线贴图。
- 使用PatchMatch算法来初步估计深度和法线贴图。
- 将视差图一致性和空间一致性的置信度相结合,可靠的预测每个深度的正确性。用DCNNs来算空间一致性的置信度。
- 通过动态和静态指导的置信度驱动和边界感知插值来获得可靠的深度和法线估计。
- 进一步优化深度和法线误差。