[英]Rotation and Translation from Essential Matrix incorrect
我目前有一个立体相机设置。 我已经校准了两个摄像头并且具有用于摄像机K1
和K2
的内在矩阵。
K1 = [2297.311, 0, 319.498;
0, 2297.313, 239.499;
0, 0, 1];
K2 = [2297.304, 0, 319.508;
0, 2297.301, 239.514;
0, 0, 1];
我还使用OpenCV中的findFundamentalMat()
确定了两台摄像机之间的基本矩阵F
我已经使用一对对应点x1
和x2
(在像素坐标中)测试了极线约束,并且它非常接近0
。
F = [5.672563368940768e-10, 6.265600996978877e-06, -0.00150188302445251;
6.766518121363063e-06, 4.758206104804563e-08, 0.05516598334827842;
-0.001627120880791009, -0.05934224611334332, 1];
x1 = 133,75
x2 = 124.661,67.6607
transpose(x2)*F*x1 = -0.0020
从F
我能够获得基本矩阵E
因为E = K2'*F*K1
。 我使用MATLAB SVD函数对E
进行分解,得到K2
相对于K1
旋转和平移的4种可能性。
E = transpose(K2)*F*K1;
svd(E);
[U,S,V] = svd(E);
diag_110 = [1 0 0; 0 1 0; 0 0 0];
newE = U*diag_110*transpose(V);
[U,S,V] = svd(newE); //Perform second decompose to get S=diag(1,1,0)
W = [0 -1 0; 1 0 0; 0 0 1];
R1 = U*W*transpose(V);
R2 = U*transpose(W)*transpose(V);
t1 = U(:,3); //norm = 1
t2 = -U(:,3); //norm = 1
假设K1
用作我们进行所有测量的坐标系。 因此, K1
的中心位于C1 = (0,0,0)
。 有了这个,应该可以应用正确的旋转R
和平移t
,使得C2 = R*(0,0,0)+t
(即,相对于K1
的中心测量K2
的中心)
现在让我们说使用我对应的对x1
和x2
。 如果我知道我的两个相机中每个像素的长度,并且因为我知道内部矩阵的焦距,我应该能够确定两个v1
两个矢量v1
和v2
,它们在如下所示的相同点处相交。
pixel_length = 7.4e-6; //in meters
focal_length = 17e-3; //in meters
dx1 = (133-319.5)*pixel_length; //x-distance from principal point of 640*480 image
dy1 = (75-239.5) *pixel_length; //y-distance from principal point of 640*480 image
v1 = [dx1 dy1 focal_length] - (0,0,0); //vector found using camera center and corresponding image point on the image plane
dx2 = (124.661-319.5)*pixel_length; //same idea
dy2 = (67.6607-239.5)*pixel_length; //same idea
v2 = R * ( [dx2 dy2 focal_length] - (0,0,0) ) + t; //apply R and t to measure v2 with respect to K1 frame
利用该向量并以参数形式知道线方程,我们可以将两条线等同为三角形,并通过MATLAB中的左手除法函数求解两个标量s和t
,以求解方程组。
C1 + s*v1 = C2 + t*v2
C1-C2 = tranpose([v2 v1])*transpose([s t]) //solve Ax = B form system to find s and t
通过s
和t
确定,我们可以通过插回线方程找到三角形点。 但是,我的过程还没有成功,因为我找不到单个R
和t
解决方案,其中点位于两个摄像机前面,两个摄像机都指向前方。
我的管道或思维过程有问题吗? 是否可以获得每个像素光线?
当您将基本矩阵分解为R
和t
您将获得4种不同的解决方案。 其中三个投影一个或两个摄像机后面的点,其中一个是正确的。 您必须通过对一些采样点进行三角测量来测试哪一个是正确的。
MATLAB中的计算机视觉系统工具箱中有一个名为cameraPose
,可以为您完成这项功能。
应该不是C1-C2 = transpose([v2 -v1] * transpose([ts])
。这是有效的。
检查你的代码,发现R1和R2的决定因素都是-1,这是不正确的,因为旋转矩阵R应该有一个等于1的行列式。只需取R=-R
然后再试一次。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.