使用ffmpeg將音頻與圖像和視頻連接

Question

我有1張圖片，1個音頻文件和1個視頻。 我想將所有這些都合並成一個視頻

• 顯示圖像並播放前10秒鍾的音頻文件
• 播放視頻文件

到目前為止，這是我一直在嘗試的方法。

ffmpeg \
-loop 1 -framerate 24 -t 10 -i item1.jpg \
-i "https://audio-ssl.itunes.apple.com/apple-assets-us-std-000001/Music/66/58/f7/mzi.eoocfriy.aac.p.m4a" \
-i item4.mp4 \
-filter_complex \
"[0]scale=432:432,setdar=1[img1]; \
 [1]volume=1[aud1]; \
 [2]scale=432:432,setdar=1[vid1]; \ 
 [img1][aud1][vid1] concat=n=3:v=1:a=1" \
outputfile.mp4

我得到了錯誤：

[Parsed_setdar_4 @ 0x3063780]'Parsed_setdar_4'過濾器輸出墊0（視頻）和'Parsed_concat_6'過濾器輸入墊1（音頻）之間的媒體類型不匹配[AVFilterGraph @ 0x30479a0]無法創建鏈接setdar：0-> concat：1錯誤初始化復雜的過濾器。 無效的論點

我試圖用Google搜索，但仍然無法弄清楚我在做什么錯？

更新：我運行了以下命令：

ffmpeg \
-loop 1 -framerate 24 -t 10 -i item1.jpg \
-t 10 -i "https://audio-ssl.itunes.apple.com/apple-assets-us-std-000001/Music/66/58/f7/mzi.eoocfriy.aac.p.m4a" \
-i item4.mp4 \
-f lavfi -t 1 -i anullsrc \
-filter_complex \
"[0]scale=432:432,setsar=1[img1]; \
[2]scale=432:432,setsar=1[vid1]; \ 
[img1][1][vid1][3] concat=n=2:v=1:a=1" \
outputfile.mp4

並得到以下錯誤：

ffmpeg version 3.3.3 Copyright (c) 2000-2017 the FFmpeg developers
  built with gcc 4.8 (Ubuntu 4.8.4-2ubuntu1~14.04.3)
  configuration: --extra-libs=-ldl --prefix=/opt/ffmpeg --mandir=/usr/share/man --enable-avresample --disable-debug --enable-nonfree --enable-gpl --enable-version3 --enable-libopencore-amrnb --enable-libopencore-amrwb --disable-decoder=amrnb --disable-decoder=amrwb --enable-libpulse --enable-libfreetype --enable-gnutls --disable-ffserver --enable-libx264 --enable-libx265 --enable-libfdk-aac --enable-libvorbis --enable-libtheora --enable-libmp3lame --enable-libopus --enable-libvpx --enable-libspeex --enable-libass --enable-avisynth --enable-libsoxr --enable-libxvid --enable-libvidstab --enable-libwavpack --enable-nvenc --enable-libzimg
  libavutil      55. 58.100 / 55. 58.100
  libavcodec     57. 89.100 / 57. 89.100
  libavformat    57. 71.100 / 57. 71.100
  libavdevice    57.  6.100 / 57.  6.100
  libavfilter     6. 82.100 /  6. 82.100
  libavresample   3.  5.  0 /  3.  5.  0
  libswscale      4.  6.100 /  4.  6.100
  libswresample   2.  7.100 /  2.  7.100
  libpostproc    54.  5.100 / 54.  5.100
Input #0, image2, from 'item1.jpg':
  Duration: 00:00:00.04, start: 0.000000, bitrate: 8365 kb/s
    Stream #0:0: Video: mjpeg, yuvj420p(pc, bt470bg/unknown/unknown), 432x432 [SAR 1:1 DAR 1:1], 24 fps, 24 tbr, 24 tbn, 24 tbc
Input #1, mov,mp4,m4a,3gp,3g2,mj2, from 'https://audio-ssl.itunes.apple.com/apple-assets-us-std-000001/Music/66/58/f7/mzi.eoocfriy.aac.p.m4a':
  Metadata:
    major_brand     : M4A
    minor_version   : 0
    compatible_brands: M4A mp42isom
    creation_time   : 1983-06-16T23:20:44.000000Z
    iTunSMPB        :  00000000 00000840 00000000 00000000001423C0 00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000
  Duration: 00:00:29.98, start: 0.047891, bitrate: 285 kb/s
    Stream #1:0(eng): Audio: aac (LC) (mp4a / 0x6134706D), 44100 Hz, stereo, fltp, 271 kb/s (default)
    Metadata:
      creation_time   : 1983-06-16T23:20:44.000000Z
Input #2, mov,mp4,m4a,3gp,3g2,mj2, from 'item4.mp4':
  Metadata:
    major_brand     : isom
    minor_version   : 512
    compatible_brands: isomiso2avc1mp41
    creation_time   : 1970-01-01T00:00:00.000000Z
    encoder         : Lavf53.24.2
  Duration: 00:00:13.70, start: 0.000000, bitrate: 615 kb/s
    Stream #2:0(und): Video: h264 (Main) (avc1 / 0x31637661), yuv420p, 320x240 [SAR 1:1 DAR 4:3], 229 kb/s, 15 fps, 15 tbr, 15360 tbn, 30 tbc (default)
    Metadata:
      creation_time   : 1970-01-01T00:00:00.000000Z
      handler_name    : VideoHandler
    Stream #2:1(und): Audio: aac (LC) (mp4a / 0x6134706D), 48000 Hz, 5.1, fltp, 382 kb/s (default)
    Metadata:
      creation_time   : 1970-01-01T00:00:00.000000Z
      handler_name    : SoundHandler
Input #3, lavfi, from 'anullsrc':
  Duration: N/A, start: 0.000000, bitrate: 705 kb/s
    Stream #3:0: Audio: pcm_u8, 44100 Hz, stereo, u8, 705 kb/s
[AVFilterGraph @ 0x3955e20] No such filter: ' '
Error initializing complex filters.
Invalid argument

Answer 1

當配置成對的流時，對於每個段，concat過濾器都希望有一對對應的輸入。 因此，如果要同時容納1個視頻流和2個音頻流，則每個段輸入應為[v][a][a] 。

因此，在這種情況下，需要虛擬音頻與第二視頻配對。

ffmpeg \
-loop 1 -framerate 24 -t 10 -i item1.jpg \
-t 10 -i "https://audio-ssl.itunes.apple.com/apple-assets-us-std-000001/Music/66/58/f7/mzi.eoocfriy.aac.p.m4a" \
-i item4.mp4 \
-f lavfi -t 1 -i anullsrc \
-filter_complex \
"[0]scale=432:432,setsar=1[img1]; \
 [2]scale=432:432,setsar=1[vid1]; \
 [img1][1][vid1][3] concat=n=2:v=1:a=1" \
outputfile.mp4

anullsrc提供虛擬音頻。

簡介音頻必須限於圖像持續時間，因為concat過濾器會在每個段中使用較長流的持續時間。

因為SAR是已更改的實際參數，所以使用setsar而不是setdar ，並且有可能在將SAR簡化為有理數后，SAR可能不匹配。

concat中的n應該為2因為它指定了配對段的數量，而不是輸入的總數。