从深度传感器到OpenGL的z缓冲区的数据以实现遮挡

Question

我想使用来自深度传感器（例如kinect或Realsense RGB-D Dev工具包）的数据来了解有关增强现实应用程序中遮挡的更多信息。

我读到应该做的是将渲染对象的z缓冲区值与传感器的深度图值进行比较，并以某种方式掩盖这些值，以便仅看到离用户更近的像素。有任何资源或开放源代码可以这样做或可以帮助我理解它吗？

而且，我希望我的手（被检测为斑点）始终遮住虚拟对象。难道没有更容易的选择吗？

Answer 1

您可以将深度数据作为纹理上传，并将其绑定为渲染目标的深度缓冲区。

这需要使投影矩阵的近平面和远平面与深度传感器的最小值和最大值匹配。

如果渲染目标与深度数据的大小不同，则可以在片段着色器中对其进行采样并discard; 什么时候会被遮挡。