[英]C++/OpenCV - Kalman filter for video stabilization
我尝试用卡尔曼滤波器稳定视频以进行平滑。 但我有一些问题
每次,我都有两个框架:一个是当前框架,另一个是框架。 我的工作流程:
但我认为卡尔曼有问题,因为最后我的视频仍然没有稳定,而且它根本不光滑,甚至比原版更糟糕......
这是我的卡尔曼代码
void StabilizationTestSimple2::init_kalman(double x, double y)
{
KF.statePre.at<float>(0) = x;
KF.statePre.at<float>(1) = y;
KF.statePre.at<float>(2) = 0;
KF.statePre.at<float>(3) = 0;
KF.transitionMatrix = *(Mat_<float>(4,4) << 1,0,1,0, 0,1,0,1, 0,0,1,0, 0,0,0,1);
KF.processNoiseCov = *(Mat_<float>(4,4) << 0.2,0,0.2,0, 0,0.2,0,0.2, 0,0,0.3,0,
0,0,0,0.3);
setIdentity(KF.measurementMatrix);
setIdentity(KF.processNoiseCov,Scalar::all(1e-6));
setIdentity(KF.measurementNoiseCov,Scalar::all(1e-1));
setIdentity(KF.errorCovPost, Scalar::all(.1));
}
在这里我如何使用它。 我只把有趣的部分。 所有这些代码都在flor循环中。 cornerPrev2和cornerCurr2包含之前检测到的所有要素点(使用calcOpticalFlowPyrLK())
/// Transformation
Mat transformMatrix = estimateRigidTransform(cornersPrev2,cornersCurr2 ,false);
// in rare cases no transform is found. We'll just use the last known good transform.
if(transformMatrix.data == NULL) {
last_transformationmatrix.copyTo(transformMatrix);
}
transformMatrix.copyTo(last_transformationmatrix);
// decompose T
double dx = transformMatrix.at<double>(0,2);
double dy = transformMatrix.at<double>(1,2);
double da = atan2(transformMatrix.at<double>(1,0), transformMatrix.at<double>(0,0));
// Accumulated frame to frame transform
x += dx;
y += dy;
a += da;
std::cout << "accumulated x,y: (" << x << "," << y << ")" << endl;
if (compteur==0){
init_kalman(x,y);
}
else {
vector<Point2f> smooth_feature_point;
Point2f smooth_feature=kalman_predict_correct(x,y);
smooth_feature_point.push_back(smooth_feature);
std::cout << "smooth x,y: (" << smooth_feature.x << "," << smooth_feature.y << ")" << endl;
// target - current
double diff_x = smooth_feature.x - x;//
double diff_y = smooth_feature.y - y;
dx = dx + diff_x;
dy = dy + diff_y;
transformMatrix.at<double>(0,0) = cos(da);
transformMatrix.at<double>(0,1) = -sin(da);
transformMatrix.at<double>(1,0) = sin(da);
transformMatrix.at<double>(1,1) = cos(da);
transformMatrix.at<double>(0,2) = dx;
transformMatrix.at<double>(1,2) = dy;
warpAffine(currFrame,outImg,transformMatrix,prevFrame.size(), INTER_NEAREST|WARP_INVERSE_MAP, BORDER_CONSTANT);
namedWindow("stabilized");
imshow("stabilized",outImg);
namedWindow("Original");
imshow("Original",originalFrame);
}
有人可以知道它为什么不起作用吗?
谢谢
KF.transitionMatrix = *(Mat_<float>(4,4) << 1,0,1,0, 0,1,0,1, 0,0,1,0, 0,0,0,1);
KF.processNoiseCov = *(Mat_<float>(4,4) << 0.2,0,0.2,0, 0,0.2,0,0.2, 0,0,0.3,0,
0,0,0,0.3);
setIdentity(KF.measurementMatrix);
setIdentity(KF.processNoiseCov,Scalar::all(1e-6));
setIdentity(KF.measurementNoiseCov,Scalar::all(1e-1));
setIdentity(KF.errorCovPost, Scalar::all(.1));
您的processNoiseCov
不对称,我怀疑您是否有正确的非对角线条款。 我会坚持使用对角矩阵,直到你更好地理解KF。
另一方面,您似乎立即使用具有微小值的setIdentity
覆盖它,这可能是一个错误。 也许您在上面的无效矩阵出现问题后添加了?
如果你描述帧率和状态的单位(米?像素?),我们可以讨论如何为processNoiseCov
和measurementNoiseCov
选择好的值。
编辑:
好的,鉴于你的状态是[ x_pixels, y_pixels, dx_pixels, dy_pixels ]
这里有一些提示:
I
所以你说你正在测量你所处状态的完全相同的东西(这有点不常见:通常你只测量你的状态的一些子集,例如你没有估计速度你的测量)。 I
, processNoiseCov
和measurementNoiseCov
的含义是相似的,所以我将一起讨论它们。 您的processNoiseCov
应该是一个对角矩阵,其中每个项是这些值在帧之间可能如何变化的方差 (标准差的平方)。 例如,如果有68%的几率(参见正态分布 )您的像素偏移在每帧100像素内,则位置的对角线条目应为100 * 100 = 10000
(记住,方差为stddev的平方)。 您需要对速度如何变化进行类似的估算。 (高级:应该有共同变化的(非对角线)术语,因为速度的变化与位置的变化有关,但是你可以在没有这个的情况下顺利通过,直到你对它有意义。我在其他答案中已经解释过了)。 processNoiseCov
中的加性协方差是每帧添加的,因此请记住所表示的更改超过1/25秒。 measurementNoiseCov
具有相同类型的单位(同样,测量矩阵是标识),但应反映您的测量与不可知的实际真实值的准确度。 errorCovPost
是你的初始不确定性,就像你的每帧附加协方差一样,但它描述了你对初始状态是否正确的肯定程度。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.