h.264压缩视频中的对象跟踪

Question

我正在从事一个项目，该项目需要我从连接到Beagleboard xm的网络摄像头的实时视频中检测并跟踪人类。 我已经在像素域中使用Opencv完成了此任务。 板上的结果非常准确，但是非常慢。 许多人建议我离开像素域，并在h.264 / MPEG-4压缩视频中执行相同的任务，因为这将极大地减少计算开销。 我已经阅读了许多研究论文，但是没有发现任何可用于分析和处理h.264压缩视频的软件平台或库 。 如果有人可以向我建议一些用于h.264压缩视频分析的库，并为我提供进一步的指导，我将不胜感激。

谢谢并恭祝安康。

Answer 1

我不确定这实际上有多实用（我从未尝试过这样做），但是我猜想他们所指的是正在寻找一个（几乎）完全相同的宏块。运动矢量。

例如，假设您有一个没有平移的相机，并且图片显示了一辆正在屏幕上行驶的汽车。 查看运动矢量，您应该具有（大致）汽车形状的一堆宏块，这些宏块都具有相似的运动矢量（表示汽车的运动）。 然后，您可以单独查看该块并尝试识别它，而不是查看感兴趣对象的整个图片。 同样，如果摄像头正在与汽车平移，则您将拥有一个带有小的运动矢量的汽车形块，并且大多数背景在汽车运动的相反方向上将具有相似的运动矢量。

但是请注意，这充其量可能是不精确的。 举例来说，让我们假设我们的神话般的汽车在砖瓦建筑前行驶，其前灯照亮了一些砖瓦。 在这种情况下，一张图片中的砖块可能（不容易）不指向上一张图片中的同一块砖，而是指向上一张图片中恰巧被照亮的砖块。 砖块足够相似，最接近的匹配将比砖块本身更多地取决于照明。

Answer 2

最终，您可能能够解析并确定h.264具有对象，但这不会像您所寻找的那样“对象跟踪”。 openCV是一款出色的软件，它是最出色的软件。 您是否考虑过将视频缩小到较小的分辨率，以便通过openCV进行更轻松的分析？

我认为您对这台45美元的计算机的计算能力估计过高。 在计算上，对象识别和跟踪非常困难。 首先，我要看板每秒可以跟踪多少帧并从那里进行优化。 开始查看您的瓶颈所在，最好处理原始视频，而不必先解码h.264视频。 同样，RAW视频需要占用大量RAM，而处理该视频需要占用大量CPU。

通过在分析之前按比例缩小视频，可以最大程度地减少解码视频的开销，并通过缩减视频的大小来最大程度地减少RAM开销，但最后，您要向1GHz，32位ARM处理器请求LOT。

Answer 3

FFMPEG是一个非常老的库，如今已经不被支持。 就h.264压缩视频中的处理和对象跟踪而言，它的功能非常有限。 大多数命令通常是过时的。 最好的办法是彻底研究h.264，然后尝试以某种语言（例如Java或c＃）实现自己的API。