如何使用 OpenCV 和 Python 将视频与参考视频进行比较？

Question

我需要比较 2 个视频并检查它们是否相同。 此检查是为了实际查找视频是否包含任何伪影。

我有一个参考视频，必须将捕获的视频与该视频进行比较。 视频将在同一时间从 2 个不同的机顶盒中捕获。 一个将运行无伪影视频，另一个机顶盒将与稳定的机顶盒进行比较。 不需要考虑外部条件。

一种方法是将两个视频分成几帧，然后比较每一帧。 我不想这样做，因为当我拥有 60fps 的高分辨率视频时，这将是一个非常漫长的过程。

我如何在python 中使用opencv 、 numpy和matplotlib来做到这一点？

Answer 1

您可以使用 OpenCV 和相似性测量检查 c++ Video Input的示例

这为您要查找的内容提供了参考。 我对 Python 不是很熟悉，但由于 opencv 保持了相同的功能，我认为 yiu 可以从 c++ 示例中推断出来。

最常用的算法是 PSNR（又名峰值信噪比）。

double getPSNR(const Mat& I1, const Mat& I2)
{
 Mat s1;
 absdiff(I1, I2, s1);       // |I1 - I2|
 s1.convertTo(s1, CV_32F);  // cannot make a square on 8 bits
 s1 = s1.mul(s1);           // |I1 - I2|^2

 Scalar s = sum(s1);         // sum elements per channel

 double sse = s.val[0] + s.val[1] + s.val[2]; // sum channels

 if( sse <= 1e-10) // for small values return zero
     return 0;
 else
 {
     double  mse =sse /(double)(I1.channels() * I1.total());
     double psnr = 10.0*log10((255*255)/mse);
     return psnr;
 }
}

但是如果您希望结构相似，您可以使用下面的 OpenCV 实现。

 Scalar getMSSIM( const Mat& i1, const Mat& i2)
{
 const double C1 = 6.5025, C2 = 58.5225;
 /***************************** INITS **********************************/
 int d     = CV_32F;

 Mat I1, I2;
 i1.convertTo(I1, d);           // cannot calculate on one byte large values
 i2.convertTo(I2, d);

 Mat I2_2   = I2.mul(I2);        // I2^2
 Mat I1_2   = I1.mul(I1);        // I1^2
 Mat I1_I2  = I1.mul(I2);        // I1 * I2

 /***********************PRELIMINARY COMPUTING ******************************/

 Mat mu1, mu2;   //
 GaussianBlur(I1, mu1, Size(11, 11), 1.5);
 GaussianBlur(I2, mu2, Size(11, 11), 1.5);

 Mat mu1_2   =   mu1.mul(mu1);
 Mat mu2_2   =   mu2.mul(mu2);
 Mat mu1_mu2 =   mu1.mul(mu2);

 Mat sigma1_2, sigma2_2, sigma12;

 GaussianBlur(I1_2, sigma1_2, Size(11, 11), 1.5);
 sigma1_2 -= mu1_2;

 GaussianBlur(I2_2, sigma2_2, Size(11, 11), 1.5);
 sigma2_2 -= mu2_2;

 GaussianBlur(I1_I2, sigma12, Size(11, 11), 1.5);
 sigma12 -= mu1_mu2;

 ///////////////////////////////// FORMULA ////////////////////////////////
 Mat t1, t2, t3;

 t1 = 2 * mu1_mu2 + C1;
 t2 = 2 * sigma12 + C2;
 t3 = t1.mul(t2);              // t3 = ((2*mu1_mu2 + C1).*(2*sigma12 + C2))

 t1 = mu1_2 + mu2_2 + C1;
 t2 = sigma1_2 + sigma2_2 + C2;
 t1 = t1.mul(t2);               // t1 =((mu1_2 + mu2_2 + C1).*(sigma1_2 + sigma2_2 + C2))

 Mat ssim_map;
 divide(t3, t1, ssim_map);      // ssim_map =  t3./t1;

 Scalar mssim = mean( ssim_map ); // mssim = average of ssim map
 return mssim;
}

重要的是要注意，由于您正在逐帧比较（2 个图像），因此您必须循环播放视频以获取相应的对。

Answer 2

如果您的意思是它们完全相同（即相同的格式、相同的文件类型等），那么最简单的方法是简单的文件比较——即，逐个字节地比较每个文件。

这也是唯一确定的测试 - 例如，它们可能几乎相同，但在中途有一些损坏的字节。

这种类型的逐字节比较比尝试解码和解释存在的许多不同的视频格式要简单得多。

Answer 3

根据 PSNR 示例，您同时运行两个视频并比较两个视频的每一帧（当前时间点）。但是，如果第一个视频内容的第 1 分钟与第二个视频内容的第 2 分钟或第 3 分钟匹配怎么办。 PSNR 不适合这种情况。 您可以通过“使用动态编程的视频帧匹配算法” http://electronicimaging.spiedigitallibrary.org/article.aspx?articleid=1100207

Answer 4

打开两个视频。

• N 取决于 FPS 和视频“速度”（汽车追逐视频：N=1；在绿色景观上缓慢平移：N 可能是 5 甚至 10）
• 在第一个视频的中间以“合理”的间隔（比如 5 秒）获得三帧
• 对于位置 pos 处的第二个视频的每个第 N 帧
  • 将此帧的 PSNR 与帧 A、B 和 C 进行比较
  • 如果 PSNR 小于 MinPSNR[A, B 或 C].PSNR，则
    • MinPSNR[A, B 或 C] = (PSNR, pos)

如果三个 PSNRs.POS 中至少有两个相隔约 5 秒，则视频很有可能被复制，并且您知道如何同步它们：因此 FirstVideo.pos[A, B 或 C] = MinPSNR[ A、B 或 C].pos。

此时，您可以开始一一比较同步的帧，寻找伪影。

Answer 5

这个问题仍然有点模糊，但有很多方法可以尝试比较视频中的伪影。 如果它们具有相同的分辨率、fps 等，也容易得多。

1. 如果从另一个视频的帧 [N] 中减去一个视频的帧 [N]（您可能需要重新缩放以考虑负值），结果帧的所有像素都应接近零。 正确的颜色映射将允许您播放生成的视频，并且“人工制品”将通过颜色指示变化的大小而引人注目。

2. 如果您的计算机可以处理它，请在一个轴（x 轴）上绘制一个视频的像素值，并在另一个轴（y 轴）上绘制匹配的像素值。 情节越靠近 x=y 线，视频越相似。 在这种情况下，伪影通常表现为与 x=y 线的偏差，其幅度大于人们对相似但不完全相同的视频所期望的“噪声”。 然后，您只需要找到高于您设置的阈值以定义“工件”的偏差的索引

3. 类似于上面的方法2。 像素值可以通过相关性进行比较。 如果在更高维度上绘制相关性，此方法还将给出伪影的位置。

根据您要执行的比较，有多种方法可以将您的视频转换为多维数组。