基於投影矩陣將點雲投影到相機平面上

Question

我有一個點雲，我使用 open3d 從.dat 轉換為.ply。 .ply文件的內容是一個(nx3)矩陣對應x,y,z點，還有另一個(nx3)對應RGB信息。 點的總數遠遠超過 200 萬（激光雷達安裝在車輛頂部）。 我還有一組立體相機，它們安裝在 LiDAR 旁邊（一個左，一個右），其中我只有相機的內在參數。

我正在嘗試復制在幾篇論文中找到的公式，可以在這里看到，方程 2 和 3。它最初是在Kitti 數據集論文方程 8 中找到的。基本上，它們是基於相機投影投影點雲以下等式：其中 P 是投影矩陣 - 包含相機內在參數，R 是參考相機的校正旋轉矩陣，T_{cam}^{velo} 從激光雷達坐標到相機坐標的剛性男孩變換，以及 T_{速度}^{imu}

我想指出，並非所有論文都使用最后一個參數 (T_{velo}^{imu})，因為我沒有 imu 信息，所以我將省略該參數。

雖然我只有相機內在參數，但我可以通過Essential matrix提取相機旋轉和平移。 除了數據，我還有一個文件，其中包含拍攝圖像時相機和激光雷達的偏航、俯仰和滾動（以度為單位）。 我知道我可以從這些參數中提取一個旋轉矩陣，但我不太確定在這種情況下如何使用它們，特別是獲取從激光雷達到相機坐標的剛體轉換。 我還應該提到，在拍攝每張圖像時，我擁有相機的真實世界坐標（在 x、y、z 坐標中）。

Answer 1

這是激光雷達和相機坐標系之間轉換點的詳細答案。 我使用了 3D 變換（4x4 矩陣）的齊次表示，因為它更易於操作，但如果您使用 R 和 T 代替，它會完全相同。 （等式會更長）