如何使 OpenCV 跟踪类派生自基础 class？

Question

OpenCV 跟踪 API 在 3 个不同的地方实现。

• video/tracking.hpp
• tracking.hpp
• tracking/tracking_legacy.hpp

我希望能够通过提供算法的名称作为输入来使用任何实现。

cv::Ptr<cv::Tracker> get_tracker(std::string trackerType);

与 Python 类似的方法似乎有效。

if tracker_type == 'CSRT':
    tracker = cv2.TrackerCSRT_create()
elif tracker_type == 'MOSSE':
    tracker = cv.legacy.TrackerMOSSE_create()
...
ok = tracker.init(frame, bbox)
ok, bbox = tracker.update(frame)

C++ 的问题是应该在编译时知道tracker的类型。

使用模板进行不同的实现是函数的解决方案，但我们返回的是 object，所以这不适用。

正确的解决方案是使用 inheritance 从具有纯虚函数init和update的基础 class 派生cv::Tracker和cv::legacy::Tracker 。 这两个类都有这些方法，但它们是从不具有任何这些功能的cv::Algorithm单独派生的。

到目前为止，我创建了单独的函数来获取跟踪器 object。

#include <opencv2/tracking.hpp>
#include <opencv2/tracking/tracking_legacy.hpp>
#include <string>
#include <stdexcept>

// https://docs.opencv.org/4.5.2/d0/d0a/classcv_1_1Tracker.html
cv::Ptr<cv::Tracker> get_tracker(std::string trackerType)
{
    if (trackerType == "MIL")
        return cv::TrackerMIL::create();
    if (trackerType == "GOTURN")
        return cv::TrackerGOTURN::create();
    if (trackerType == "CSRT")
        return cv::TrackerCSRT::create();
    if (trackerType == "KCF")
        return cv::TrackerKCF::create();
    throw std::runtime_error("Unknown tracker type.");
}

// https://docs.opencv.org/4.5.2/db/dfe/classcv_1_1legacy_1_1Tracker.html
cv::Ptr<cv::legacy::Tracker> get_legacy_tracker(std::string legacyTrackerType)
{
    if (legacyTrackerType == "MIL")
        return cv::legacy::TrackerMIL::create();
    if (legacyTrackerType == "BOOSTING")
        return cv::legacy::TrackerBoosting::create();
    if (legacyTrackerType == "MEDIANFLOW")
        return cv::legacy::TrackerMedianFlow::create();
    if (legacyTrackerType == "TLD")
        return cv::legacy::TrackerTLD::create();
    if (legacyTrackerType == "KCF")
        return cv::legacy::TrackerKCF::create();
    if (legacyTrackerType == "MOSSE")
        return cv::legacy::TrackerMOSSE::create();
    if (legacyTrackerType == "CSRT")
        return cv::legacy::TrackerCSRT::create();
    throw std::runtime_error("Unknown legacy tracker type.");
}

我将跟踪器类型作为命令行输入。 任何使以下代码适用于所有跟踪器类型的解决方案都值得赞赏。 Tracker在可用时优先于legacy 。

tracker->init(frame, bbox);
bool ok = tracker->update(frame, bbox);

注意：我使用的是 OpenCV 4.5.2。 legacy模块是在这个提交中创建的。

另一个注意事项：目前， opencv-python==4.5.2的 pip package 不可用。 提供的 Python 代码未经测试，但根据文档编写。

Answer 1

解决方案在于 OpenCV 的示例脚本。 （ 跟踪/样本/samples_utility.hpp ）

我们需要将cv::legacy::Tracker转换为首选类型cv::Tracker 。 就像 function 的不同输入问题一样，我们需要分别实现这些成员函数。

class LegacyTrackerWrapper : public cv::Tracker
{
    const cv::Ptr<cv::legacy::Tracker> legacy_tracker_;

public:
    LegacyTrackerWrapper(const cv::Ptr<legacy::Tracker>& legacy_tracker)
        : legacy_tracker_(legacy_tracker) {}

    ~LegacyTrackerWrapper() override {}

    void init(cv::InputArray image, const cv::Rect& boundingBox) override
    {
        legacy_tracker_->init(image, static_cast<cv::Rect2d>(boundingBox));
    }

    bool update(cv::InputArray image, cv::Rect& boundingBox) override
    {
        cv::Rect2d boundingBox2d;
        bool res = legacy_tracker_->update(image, boundingBox2d);
        boundingBox = static_cast<cv::Rect>(boundingBox2d);  // the cast is not defined by default
        return res;
    }
};

我们可以使用包装器 class 来获得所需的行为。

cv::Ptr<cv::Tracker> upgradeTrackingAPI(const cv::Ptr<legacy::Tracker>& legacy_tracker)
{
    return cv::makePtr<LegacyTrackerWrapper>(legacy_tracker);
}

cv::Ptr<cv::Tracker> get_tracker(std::string trackerType)
{
    if (trackerType == "CSRT")
        return cv::TrackerCSRT::create();
    if (trackerType == "MOSSE")
        return upgradeTrackingAPI(cv::legacy::TrackerMOSSE::create());
}