h.264壓縮視頻中的對象跟蹤

Question

我正在從事一個項目，該項目需要我從連接到Beagleboard xm的網絡攝像頭的實時視頻中檢測並跟蹤人類。 我已經在像素域中使用Opencv完成了此任務。 板上的結果非常准確，但是非常慢。 許多人建議我離開像素域，並在h.264 / MPEG-4壓縮視頻中執行相同的任務，因為這將極大地減少計算開銷。 我已經閱讀了許多研究論文，但是沒有發現任何可用於分析和處理h.264壓縮視頻的軟件平台或庫 。 如果有人可以向我建議一些用於h.264壓縮視頻分析的庫，並為我提供進一步的指導，我將不勝感激。

謝謝並恭祝安康。

Answer 1

我不確定這實際上有多實用（我從未嘗試過這樣做），但是我猜想他們所指的是正在尋找一個（幾乎）完全相同的宏塊。運動矢量。

例如，假設您有一個沒有平移的相機，並且圖片顯示了一輛正在屏幕上行駛的汽車。 查看運動矢量，您應該具有（大致）汽車形狀的一堆宏塊，這些宏塊都具有相似的運動矢量（表示汽車的運動）。 然后，您可以單獨查看該塊並嘗試識別它，而不是查看感興趣對象的整個圖片。 同樣，如果攝像頭正在與汽車平移，則您將擁有一個帶有小的運動矢量的汽車形塊，並且大多數背景在汽車運動的相反方向上將具有相似的運動矢量。

但是請注意，這充其量可能是不精確的。 舉例來說，讓我們假設我們的神話般的汽車在磚瓦建築前行駛，其前燈照亮了一些磚瓦。 在這種情況下，一張圖片中的磚塊可能（不容易）不指向上一張圖片中的同一塊磚，而是指向上一張圖片中恰巧被照亮的磚塊。 磚塊足夠相似，最接近的匹配將比磚塊本身更多地取決於照明。

Answer 2

最終，您可能能夠解析並確定h.264具有對象，但這不會像您所尋找的那樣“對象跟蹤”。 openCV是一款出色的軟件，它是最出色的軟件。 您是否考慮過將視頻縮小到較小的分辨率，以便通過openCV進行更輕松的分析？

我認為您對這台45美元的計算機的計算能力估計過高。 在計算上，對象識別和跟蹤非常困難。 首先，我要看板每秒可以跟蹤多少幀並從那里進行優化。 開始查看您的瓶頸所在，最好處理原始視頻，而不必先解碼h.264視頻。 同樣，RAW視頻需要占用大量RAM，而處理該視頻需要占用大量CPU。

通過在分析之前按比例縮小視頻，可以最大程度地減少解碼視頻的開銷，並通過縮減視頻的大小來最大程度地減少RAM開銷，但最后，您要向1GHz，32位ARM處理器請求LOT。

Answer 3

FFMPEG是一個非常老的庫，如今已經不被支持。 就h.264壓縮視頻中的處理和對象跟蹤而言，它的功能非常有限。 大多數命令通常是過時的。 最好的辦法是徹底研究h.264，然后嘗試以某種語言（例如Java或c＃）實現自己的API。