如何计算到立体图像的密集视差图？

Question

我如何计算从密集的视差图到立体图像？

到目前为止，我的想法是遍历第一张图片的所有像素，然后扫描第二张图片以查找匹配项。 为了比较两个像素的相似性，我计算了围绕它们的小窗口中像素的平方差。 该算法在合成图像上效果较好，但在包含反射或光强度差异较大的图像上效果不佳。 我应该使用哪种方法以获得更好的结果？

图像处理大师，请分享您的知识。

Answer 1

Otto-Chau立体匹配算法非常有效，将自适应最小二乘补丁匹配与子像素精度以及在匹配图像上生长的区域结合在一起：

Otto，GP，Chau，TKW，1989。“区域增长”算法，用于匹配地形图像。 影像视觉计算，7（2），第83-94页。

这是一种基于区域的方法，因此在某种程度上确实依赖于图像中合理数量的纹理。 如果您的图像数据非常稀疏，则基于特征的方法可能会更好，也许可以通过自适应LS匹配来增强准确性。 相关方法易于实现且速度很快，但由于它们未考虑图像之间的仿射扭曲，因此它们通常不如使用牛顿-拉夫森方案将ALS最小化的ALS技术那样健壮或准确。辐射参数，使图像之间非常合适。

Answer 2

我发现此内容写在一种用于计算密集视差图的方法上，如果您单击链接，可以获取详细描述其方法的PDF。 不幸的是，我的图像处理经验不包括立体镜，因此我无法评论所提出算法的质量。

http://serdis.dis.ulpgc.es/~lalvarez/research/demos/StereoFlow/

我将检查我的课文以获取有关该主题的更多材料。

编辑：我翻阅了我拥有的书和Linda G. Shapiro和George C的“ Computer Vision”。斯托克曼在了解相机和图像方向的情况下，对立体视觉背后的数学作了约10页的解释，并指出了相关性部分。寻找立体影像之间的共同特征，而视差映射则无所作为。

Answer 3

一种计算差异的流行且有效的方法涉及图形切割。 本质上，是从两个图像中创建一个图形，然后以一种使图像中深度不连续所产生的能量最小化的方式进行切割。 康奈尔大学（Cornell）的拉明·扎比（Ramin Zabih）就该主题发表了许多论文：

http://www.cs.cornell.edu/~rdz/graphcuts.html

我建议使用“通过图形切割实现的快速近似能量最小化”作为概述。