如何使用光流圖像將后一幀扭曲到前一幀

Question

我只有兩張圖片，一張是當前幀，一張是其他方式計算出來的光流圖。

當前幀為：

光流圖為：

我的問題是如何使用兩幅圖像計算前一幀？

我看到了一個解決方案，只是使用雙線性插值將當前幀扭曲到具有光流圖像的最后一幀。但我不知道該怎么做。

那么，有人能給我一些建議或想法嗎？ 非常感謝。

Answer 1

您正在尋找 opencv 函數remap 。 如果您有當前圖像 ( currImg ) 和光流墊 ( flow )，那么您可以通過首先反轉光流然后應用函數remap來預測先前的圖像。 在python中，代碼如下：

import cv2
h, w = flow.shape[:2]
flow = -flow
flow[:,:,0] += np.arange(w)
flow[:,:,1] += np.arange(h)[:,np.newaxis]
prevImg = cv2.remap(curImg, flow, None, cv.INTER_LINEAR)