提取相对于相机的坐标

Question

我试图提取相机检测到的物体的真实世界坐标。 我有相机矩阵和失真矩阵。 由于我有x，y（图像中对象的坐标），因此我尝试求解（X，Y）以获取相对于相机的对象坐标。 （Z = 0，因为我知道放置对象的平面。）

但是，这种方法似乎存在问题。 我在这里错过了什么吗？

Answer 1

问题是您得到的是按比例缩放的坐标。 远处的大物体将与附近的小物体具有相同的图像。

您需要应用有关对象的一些外部信息才能缩放坐标。 它可以是有关对象的某些信息（例如，其大小），也可以是使用立体摄像机或其他RGBD摄像机。

Answer 2

您说该3D点的Z世界坐标已知为零。 我假设您的世界坐标系与相机坐标系不同，否则您的点将在传感器平面的后面，我们就完成了。 因此，您必须具有（可能是校准过程的结果）从世界框架到摄像机的坐标转换，表示为3x4矩阵Q = [R | t]，因此该平面上的世界点投影到图像中的方式为：

[x, y, w]' = K * Q * [X, Y, Z, 1]'

其中“'”表示换位。

用Qi表示从摄像机帧到世界帧的逆坐标变换：

Qi = inv(Q) = [R' | (-R' * t)] 

使用这个矩阵，我们可以用世界坐标写相机中心：

c_w = Qi * [0, 0, 0, 1]'

作为您的世界点图像的图像平面上的像素具有世界坐标：

i_w = Qi * Ki * [x, y, 1]'

其中Ki = inv（K）是相机矩阵的逆。

从相机中心到该像素的所有光线点都具有世界坐标：

r_w = c_w + lambda * (i_w - c_w)

其中lambda是一个正数。

您正在寻找这种射线的特定点，即Z = 0平面上的那个点。 因此，如果您在（X，Y，Z）组件中编写最后一个方程，并将Z替换为0，则会得到由未知X，Y和lambda组成的3个方程的线性系统。 解决它，您就会得到答案。