C ++ / OpenCV - 用於視頻穩定的卡爾曼濾波器

Question

我嘗試用卡爾曼濾波器穩定視頻以進行平滑。 但我有一些問題

每次，我都有兩個框架：一個是當前框架，另一個是框架。 我的工作流程：

• 計算goodFeaturesToTrack（）
• 使用calcOpticalFlowPyrLK（）計算光流
• 保持好點
• 估計嚴格的轉變
• 使用卡爾曼濾波器平滑
• 翹曲的畫面。

但我認為卡爾曼有問題，因為最后我的視頻仍然沒有穩定，而且它根本不光滑，甚至比原版更糟糕......

這是我的卡爾曼代碼

void StabilizationTestSimple2::init_kalman(double x, double y)
{

    KF.statePre.at<float>(0) = x;
    KF.statePre.at<float>(1) = y;
    KF.statePre.at<float>(2) = 0;
    KF.statePre.at<float>(3) = 0;

    KF.transitionMatrix = *(Mat_<float>(4,4) << 1,0,1,0,    0,1,0,1,     0,0,1,0,   0,0,0,1);
    KF.processNoiseCov = *(Mat_<float>(4,4) << 0.2,0,0.2,0,  0,0.2,0,0.2,  0,0,0.3,0,
                           0,0,0,0.3);
    setIdentity(KF.measurementMatrix);
    setIdentity(KF.processNoiseCov,Scalar::all(1e-6));
    setIdentity(KF.measurementNoiseCov,Scalar::all(1e-1));
    setIdentity(KF.errorCovPost, Scalar::all(.1));
}

在這里我如何使用它。 我只把有趣的部分。 所有這些代碼都在flor循環中。 cornerPrev2和cornerCurr2包含之前檢測到的所有要素點（使用calcOpticalFlowPyrLK（））

    /// Transformation
    Mat transformMatrix = estimateRigidTransform(cornersPrev2,cornersCurr2 ,false);

    // in rare cases no transform is found. We'll just use the last known good transform.
    if(transformMatrix.data == NULL) {
        last_transformationmatrix.copyTo(transformMatrix);
    }

    transformMatrix.copyTo(last_transformationmatrix);

    // decompose T
    double dx = transformMatrix.at<double>(0,2);
    double dy = transformMatrix.at<double>(1,2);
    double da = atan2(transformMatrix.at<double>(1,0), transformMatrix.at<double>(0,0));

    // Accumulated frame to frame transform
    x += dx;
    y += dy;
    a += da;
    std::cout << "accumulated x,y: (" << x << "," << y << ")" << endl;

    if (compteur==0){
        init_kalman(x,y);
    }
    else {


          vector<Point2f> smooth_feature_point;
          Point2f smooth_feature=kalman_predict_correct(x,y);
          smooth_feature_point.push_back(smooth_feature);
          std::cout << "smooth x,y: (" << smooth_feature.x << "," << smooth_feature.y << ")" << endl;

          // target - current
          double diff_x = smooth_feature.x - x;//
          double diff_y = smooth_feature.y - y;

          dx = dx + diff_x;
          dy = dy + diff_y;

          transformMatrix.at<double>(0,0) = cos(da);
          transformMatrix.at<double>(0,1) = -sin(da);
          transformMatrix.at<double>(1,0) = sin(da);
          transformMatrix.at<double>(1,1) = cos(da);
          transformMatrix.at<double>(0,2) = dx;
          transformMatrix.at<double>(1,2) = dy;

          warpAffine(currFrame,outImg,transformMatrix,prevFrame.size(), INTER_NEAREST|WARP_INVERSE_MAP, BORDER_CONSTANT);

          namedWindow("stabilized");
          imshow("stabilized",outImg);
          namedWindow("Original");
          imshow("Original",originalFrame);


    }

有人可以知道它為什么不起作用嗎？

謝謝

Answer 1

KF.transitionMatrix = *(Mat_<float>(4,4) << 1,0,1,0,    0,1,0,1,     0,0,1,0,   0,0,0,1);
KF.processNoiseCov = *(Mat_<float>(4,4) << 0.2,0,0.2,0,  0,0.2,0,0.2,  0,0,0.3,0,
                       0,0,0,0.3);
setIdentity(KF.measurementMatrix);
setIdentity(KF.processNoiseCov,Scalar::all(1e-6));
setIdentity(KF.measurementNoiseCov,Scalar::all(1e-1));
setIdentity(KF.errorCovPost, Scalar::all(.1));

您的processNoiseCov不對稱，我懷疑您是否有正確的非對角線條款。 我會堅持使用對角矩陣，直到你更好地理解KF。

另一方面，您似乎立即使用具有微小值的setIdentity覆蓋它，這可能是一個錯誤。 也許您在上面的無效矩陣出現問題后添加了？

如果你描述幀率和狀態的單位（米？像素？），我們可以討論如何為processNoiseCov和measurementNoiseCov選擇好的值。

編輯：

好的，鑒於你的狀態是[ x_pixels, y_pixels, dx_pixels, dy_pixels ]這里有一些提示：

• 你的測量矩陣是I所以你說你正在測量你所處狀態的完全相同的東西（這有點不常見：通常你只測量你的狀態的一些子集，例如你沒有估計速度你的測量）。
• 鑒於您的測量矩陣是I ， processNoiseCov和measurementNoiseCov的含義是相似的，所以我將一起討論它們。 您的processNoiseCov應該是一個對角矩陣，其中每個項是這些值在幀之間可能如何變化的方差 （標准差的平方）。 例如，如果有68％的幾率（參見正態分布 ）您的像素偏移在每幀100像素內，則位置的對角線條目應為100 * 100 = 10000 （記住，方差為stddev的平方）。 您需要對速度如何變化進行類似的估算。 （高級：應該有共同變化的（非對角線）術語，因為速度的變化與位置的變化有關，但是你可以在沒有這個的情況下順利通過，直到你對它有意義。我在其他答案中已經解釋過了）。
• processNoiseCov中的加性協方差是每幀添加的，因此請記住所表示的更改超過1/25秒。
• 您的measurementNoiseCov具有相同類型的單位（同樣，測量矩陣是標識），但應反映您的測量與不可知的實際真實值的准確度。
• 通常，您可以測量過程和測量的實際值，並計算它們的實際協方差（以excel或python或Matlab或其他方式）。
• 你的errorCovPost是你的初始不確定性，就像你的每幀附加協方差一樣，但它描述了你對初始狀態是否正確的肯定程度。
• 在使用KF時，獲得正確的協方差矩陣是最重要的 。 在設計KF時，您將總是花更多時間來做正確的事情而不是做任何其他事情。