如何在Hololens上使用DepthCorrelatedCoordinateMapper

Question

我想将Hololens彩色相机上的像素映射到3d世界坐标。 为此，我使用DepthCorrelatedCoordinateMapper 。 该代码库主要是C ++ / WinRT，某些部分在C ++ / CX中。 我使用转换器从CX参考中获取常规参考。 我无法收集构造映射器所需的参数，因为有时相机固有函数和坐标系都为空。

我根据Microsoft 的示例 （特别是本节）来定位自己： https : //github.com/microsoft/Windows-universal-samples/blob/master/Samples/CameraStreamCorrelation/cpp/FrameRenderer.cpp#L127

但是，当我尝试获取如下参数时：

auto video_frame_cx = m_videoFrameProcessor->GetLatestFrame();
auto color_frame_reference = from_cx<MediaFrameReference (video_frame_cx);
CameraIntrinsics camera_intrinsics = color_frame_reference.VideoMediaFrame().CameraIntrinsics();

camera_intrinsics为空。 对非null值进行轮询会为内部函数生成一个值，但对坐标系使用相同的技术将不起作用。

我不明白问题出在哪里。 这可能是API中的错误。 也许是时间问题？ 还是来自CX的转换失败/导致奇怪的行为？

Answer 1

对于您要尝试执行的操作，可以在此处找到说明： Media.SharedTexture

但是，在进行更多讨论时，我们认为您要使用“深度”相机尝试做的一部分更多地是Kinect构造而不是HoloLens构造，您必须自己进行一些计算。 其中的一部分可能仅在“研究模式”下可用（并不能保证将来的OS /设备版本会真正支持该模式）。 在此处查看更多信息： https : //docs.microsoft.com/zh-cn/windows/mixed-reality/research-mode

以及此处提供的示例将完成我们认为您要尝试的操作： https : //github.com/Microsoft/HoloLensForCV