使用RGB图像和PointCloud，如何从PointClouds生成深度图？ （Python）

Question

我正在融合激光雷达和相机图像，以便使用 CNN 执行分类对象算法。

我想使用提供同步激光雷达和 rgb 图像数据的 KITTI 数据集。 激光雷达是 3D 扫描仪，因此输出是 3D 点云。

我想使用点云中的深度信息作为 CNN 的通道。 但我从来没有使用过点云，所以我在寻求帮助。 是否将点云投影到相机图像平面（使用 Kitti 提供的投影矩阵）会给我我想要的深度图？ Python libray pcl 有用还是我应该转向 C++ 库？

如果您有任何建议，请提前感谢

Answer 1

我不确定 Kitti 提供的投影矩阵包括什么，所以答案是视情况而定。 如果此投影矩阵仅包含一个变换矩阵，则无法从中生成深度图。 2D 图像具有来自 2D 相机的失真，而点云通常没有失真，因此您无法在没有内在和外在参数的情况下“精确地”将点云映射到 rgb 图像。

PCL 不需要这样做。

深度图本质上是将深度值映射到 rgb 图像。 您可以将点云中的每个点（lider 的每个激光）视为 rgb 图像的一个像素。 因此，我认为您需要做的就是找到点云中与 rgb 图像的第一个像素（左上角）对应的点。 然后根据 rgb 图像分辨率从点云中读取深度值。

Answer 2

我正在融合激光雷达和相机图像，以便使用CNN执行分类对象算法。

我想使用提供同步激光雷达和rgb图像数据的KITTI数据集。 激光雷达是3D扫描仪，因此输出是3D点云。

我想将来自点云的深度信息用作CNN的渠道。 但是我从来没有使用过点云，因此我需要一些帮助。 将点云投影到相机图像平面中（使用Kitti提供的投影矩阵）会给我想要的深度图吗？ Python libray pcl是否有用，还是我应该转到C ++库？

如果您有任何建议，请先谢谢

Answer 3

你和相机无关。 这都是关于点云数据的。 假设您有 1000 万个点，每个点都有以米为单位的 x、y、z。 如果数据不是以米为单位首先转换它。 然后你需要激光雷达的位置。 当您从所有点中一一减去汽车的位置时，您将激光雷达的位置带到（0,0,0）点，然后您可以将该点打印在白色图像上。 剩下的就是简单的数学，可能有很多方法可以做到。 我首先想到的是：将 rgb 视为二进制数。 假设 1cm 缩放为 1 个蓝色，256cm 的变化等于 1 个绿色的变化，256x256 即 65536 cm 的变化等于 1 个红色的变化。 我们知道 cam 是 (0,0,0) 如果点的 rgb 是 1,0,0 那么这意味着距离相机 256x256x1+0x256+0x1=65536 cm。 这可以在 C++ 中完成。 如果有，您也可以使用插值和最近点算法来填充空白