黑屏时回退输入 ffmpeg

Question

我想在使用 ffmpeg 命令时有一个“后备”视频。 目标是我播放一个视频，一旦这个视频显示几乎黑屏，应该切换到回退，并在黑屏结束后重新切换。 我知道我们可以检测到“黑框”，但我迷路了..如果有人有想法？

我现在就在这一点上（我正在使用 streamlink 获取输入）：

streamlink <<THE_URL>> best -O | ffmpeg -re -i pipe:0 -c:v libx264 -vf "blackframe=amount=40:thresh=5" -c:a aac -strict -2 -f flv <<RTMP_URL>> | grep blackframe

谢谢你

Answer 1

我们可以使用geq 、 alphamerge和overlay过滤器来解决这个问题：

streamlink <<THE_URL>> best -O | ffmpeg -i pipe: -f lavfi -i smptebars=size=384x216:rate=30 -filter_complex "[1:v][0:v]scale2ref[v1][v0];[v0]format=gray,geq=lum_expr='lt(p(X,Y), 5)',geq='gt(lumsum(W-1,H-1),0.4*W*H)*255'[alpha];[v1][alpha]alphamerge[alpha_v1];[0:v][alpha_v1]overlay=shortest=1[v]" -map "[v]" -map 0:a -c:v libx264 -pix_fmt yuv420p -c:a aac -strict -2 -f flv <<RTMP_URL>>

上面的示例使用smptebars合成模式作为后备视频。
scale2ref用于将模式的分辨率调整为主输入视频的分辨率。
为获得最佳效果， rate参数（例如rate=30 ）应与主视频的帧速率相匹配。

我们可以选择用视频文件的后备替换合成模式——后备视频应该足够长（或者使用stream_loop参数循环播放），并且帧率更好地匹配主输入。

笔记：

• 使用blackframe是行不通的，因为检测到的黑帧列表是打印出来的，不能用于修改“飞行中”的主视频（该列表可能用于第二次离线处理）。

---

过滤链解释：

• [1:v][0:v]scale2ref[v1][v0] - 将后备视频缩放至主输入视频的分辨率。
• [v0]format=gray,geq=lum_expr='lt(p(X,Y), 5)[alpha]' - 将所有低于阈值5的像素替换为值1 ，并将高于 5 的像素设置为0 。
• geq='gt(lumsum(W-1,H-1),0.4*W*H)*255' 255如果1像素的总和超过总像素的 40% ( 0.4*W*H适用于总像素的 40%）。
  如果总像素的 40% 低于5 ，则[alpha]为黑色（全为零）。
  如果总像素的 40% 或更多高于5 ，则[alpha]为白色（全部为255 ）。
• [v1][alpha]alphamerge[alpha_v1] - 将[alpha]作为 alpha 通道合并到缩放后备帧[v1] 。
  如果[alpha]是黑色，则[alpha_v1]是完全透明的。
  如果[alpha]是白色，则[alpha_v1]是完全不透明的。
• [0:v][alpha_v1]overlay=shortest=1[v] - 在主视频帧之上叠加[alpha_v1] 。
  如果[alpha_v1]是透明的，则主视频帧未修改。
  如果[alpha_v1]是不透明的，则主视频帧将替换为后备帧。

---

测试：

创建帧随时间变暗的合成视频：

ffmpeg -y -f lavfi -i testsrc=size=192x108:rate=1:duration=10 -filter_complex "[0:v]format=rgb24[v0];[v0][0:v]blend=all_mode='overlay':all_expr='max(A*0.5-T*15\,0)',format=rgb24[v]" -map "[v]" -vcodec libx264 -pix_fmt yuv420p in.mp4

视频是10帧，最后两帧被认为是“黑帧”。

...

---

执行blackframe过滤器（用作参考）：

ffmpeg -y -hide_banner -loglevel info -i in.mp4 -vf "format=gray,blackframe=amount=40:thresh=5" -c:v libx264 -pix_fmt yuv420p out.flv

最后两帧被标记为“黑帧”：

[Parsed_blackframe_1 @ 00000285e905fc40] frame:8 pblack:52 pts:131072 t:8.000000 type:P last_keyframe:0
[Parsed_blackframe_1 @ 00000285e905fc40] frame:9 pblack:100 pts:147456 t:9.000000 type:P last_keyframe:0

---

将低于 5 的像素标记为白色像素（测试format=gray,geq=lum_expr='lt(p(X,Y), 5) ）：

ffmpeg -y -hide_banner -i in.mp4 -vf "format=gray,geq=lum_expr='lt(p(X,Y), 5)*255'" -c:v libx264 -g 1 -pix_fmt yuv420p out.flv

前两帧有少量暗像素，后两帧有很多暗像素（最后一张图像是白色的）：

...

---

测试geq='gt(lumsum(W-1,H-1),0.4*W*H) ：

ffmpeg -y -hide_banner -i in.mp4 -vf "format=gray,geq=lum_expr='lt(p(X,Y), 5)',geq='gt(lumsum(W-1,H-1),0.4*W*H)*255'" -c:v libx264 -g 1 -pix_fmt gray out.flv

前 8 帧为黑色，后 2 帧为白色：

...

---

测试完整的过滤器链：

ffmpeg -y -hide_banner -i in.mp4 -f lavfi -i smptebars=size=384x216:rate=1 -filter_complex "[1:v][0:v]scale2ref[v1][v0];[v0]format=gray,geq=lum_expr='lt(p(X,Y), 5)',geq='gt(lumsum(W-1,H-1),0.4*W*H)*255'[alpha];[v1][alpha]alphamerge[alpha_v1];[0:v][alpha_v1]overlay=shortest=1[v]" -map "[v]" -c:v libx264 -g 1 -pix_fmt yuv420p out.flv

最后两帧替换为后备视频：

...

---

笔记：

• 上述解决方案可能无法实时工作，因为过滤器链的计算量可能太大。
  为了减少计算时间，我们可以缩小输入视频，在缩小的帧上应用生成alpha的阶段，并在alphamerge之前放大 alpha。

---

测试来自twitch.tv的实时 stream（管道连接到 FFplay）：

streamlink https://www.twitch.tv/ninja --default-stream 480p -O | ffmpeg -i pipe: -f lavfi -i smptebars=size=384x216:rate=30 -filter_complex "[1:v][0:v]scale2ref[v1][v0];[v0]format=gray,geq=lum_expr='lt(p(X,Y), 5)',geq='gt(lumsum(W-1,H-1),0.4*W*H)*255'[alpha];[v1][alpha]alphamerge[alpha_v1];[0:v][alpha_v1]overlay=shortest=1[v]" -map "[v]" -map 0:a -c:v libx264 -pix_fmt yuv420p -c:a aac -strict -2 -f flv pipe: | ffplay pipe:

在 5 月的机器上，480p 质量可以正常工作，但 720p60 CPU 利用率为 100%，视频卡顿。