OpenCV findEssentialMat 和recoverPose 与左右不同的相机矩阵

Question

我需要用不同的相机矩阵恢复两个相机的姿势。 搜索 OpenCV 文档，我找到了方法：

垫 cv::findEssentialMat (
InputArray points1, InputArray points2, InputArray cameraMatrix1, InputArray distCoeffs1, InputArray cameraMatrix2, InputArray distCoeffs2, ... )

但它说：

请注意，此 function 假设 points1 和 points2 是来自具有相同相机矩阵的相机的特征点。 如果此假设不适用于您的用例，请对两个相机使用 undistortPoints() 和 P = cv::NoArray() 将图像点转换为归一化图像坐标，这对单位相机矩阵有效。 传递这些坐标时，传递此参数的单位矩阵。

顺便说一句：我正在使用 OpenCV 版本 4.5.1

在此链接中的示例代码的帮助下，我尝试在 c++ 中构建它。 为了进行测试，我使用了来自同一台相机的两张图像，并尝试了使用 undistortPoints 的代码和不使用的代码。 但结果并不相同。 我究竟做错了什么？ 或者我误解了什么？

我从两个图像/相机中获得了匹配的关键点。 相机矩阵也是已知的。 undistortPoints 变体的代码提取：

vector<cv::Point2f> leftNormalizedPoints, rightNormalizedPoints;
cv::undistortPoints(leftPoints, leftNormalizedPoints, leftK, leftDistortion);
cv::undistortPoints(rightPoints, rightNormalizedPoints, rightK, rightDistortion);

cv::Mat mask;
cv::Mat E = cv::findEssentialMat(leftNormalizedPoints,
                                 rightNormalizedPoints, cv::Mat_<double>::eye(3,3), cv::Mat(),
                                 cv::Mat_<double>::eye(3,3), cv::Mat(), cv::RANSAC, 0.999, 1.0, mask);

cv::Mat R, t;
cv::recoverPose(E, leftNormalizedPoints, rightNormalizedPoints, cv::Mat_<double>::eye(3,3), R, t, mask);

cv::Mat pose;
cv::hconcat(R, t, pose);

after all pose is:
[0.961603134791149, -0.01578174741733072, -0.2739896852224382, -0.5087070713805589;
 0.097730029342125, 0.9525919588571922, 0.288127404606722, 0.8349480887048125;
 0.256453217029193, -0.3038412354652899, 0.9175577644520827, -0.2099495289244435]

正常变体的代码提取：

cv::Mat mask;
cv::Mat E = cv::findEssentialMat(leftPoints,
                                 rightPoints, leftK, leftDistortion,
                                 rightK, rightDistortion, cv::RANSAC, 0.999, 1.0, mask);
cv::Mat R, t;
cv::recoverPose(E, leftPoints, rightPoints, leftK, R, t, mask);

cv::Mat pose;
cv::hconcat(R, t, pose);

after all pose is:
[0.9997403988434749, -0.00195556755472652, 0.02270045541015531, -0.982742576593385;
 0.002068083200570161, 0.999985688646742, -0.004934119331409387, 0.1754503851901947;
 -0.02269048153224316, 0.004979784858803584, 0.9997301354818684, 0.05860196658139444]

也许文档不是重点。 这里说，不失真由 findEssentialMat 本身处理。