如何使用ffmpeg解码AAC网络音频流

Question

我使用 ffmpeg 实现了一个网络视频播放器（如 VLC）。 但它无法解码从 IP 摄像机接收的 AAC 音频流。 它可以解码其他音频信号，如 G711、G726 等。我将编解码器 ID 设置为 AV_CODEC_ID_AAC，并设置 AvCodecContext 的通道和采样率。 但是 avcodec_decode_audio4 失败，错误代码为 INVALID_DATA。 我检查了之前提出的问题，我尝试使用“config=1408”的媒体格式特定参数向 AvCodecContext 添加额外字节。 我将 extradatabytes 设置为“20”和“8”的 2 个字节，但它也不起作用。 我感谢任何帮助，谢谢。

IP CAMERA SDP:
a=rtpmap:96 mpeg4-generic/16000/1
a=fmtp:96 streamtype=5; profile-level-id=5; mode=AAC-hbr; config=1408; SizeLength=13; IndexLength=3; IndexDeltaLength=3 

AVCodec* decoder = avcodec_find_decoder((::AVCodecID)id);//set as AV_CODEC_ID_AAC

AVCodecContext* decoderContext = avcodec_alloc_context3(decoder);   

char* test = (char*)System::Runtime::InteropServices::Marshal::StringToHGlobalAnsi("1408").ToPointer();
unsigned int length;
uint8_t* extradata = parseGeneralConfigStr(test, length);//it is set as 0x14 and 0x08

decoderContext->channels = number_of_channels; //set as 1
decoderContext->sample_rate = sample_rate; //set as 16000
decoderContext->channel_layout = AV_CH_LAYOUT_MONO;
decoderContext->codec_type = AVMEDIA_TYPE_AUDIO;

decoderContext->extradata = (uint8_t*)av_malloc(AV_INPUT_BUFFER_PADDING_SIZE + length);
memcpy(decoderContext->extradata, extradata, length);
memset(decoderContext->extradata+ length, 0, AV_INPUT_BUFFER_PADDING_SIZE);

Answer 1

您是否检查了 INVALID_DATA 的数据？
您可以根据RFC进行检查

RFC3640（3.2 RTP 有效载荷结构）

AAC有效载荷可以像下面这样分开
AU-Header | Size Info | ADTS | Data

示例有效载荷00 10 0c 00 ff f1 60 40 30 01 7c 01 30 35 ac

根据你分享的配置
AU 大小（SizeLength=13）
AU-Index / AU-Index-delta (IndexLength=3/IndexDeltaLength=3)

AU-Header 的比特长度为13(SizeLength) + 3(IndexLength/IndexDeltaLength) = 16 。
AU-标题00 10

您应该使用 AU-size(SizeLength) 值作为尺寸信息

AU-size：表示同一个RTP包中Access Unit Data Section中相关Access Unit的字节大小。

前 13 (SizeLength) 位0000000000010等于 2。因此读取 2 个八位字节以获取大小信息。
尺寸信息0c 00

ADTS ff f1 60 40 30 01 7c
ADTS解析器

标识 MPEG-4
MPEG 第 0 层
CRC 校验和缺失 1
配置文件低复杂度配置文件 (AAC LC)
采样频率 16000
专用位 0 通道配置 1
原件/复印件 0
主页 0
版权识别位 0
版权识别开始0
AAC 帧长 384
ADTS 缓冲区填充度 95
第 0 帧中没有原始数据块

数据以01 30 35 ac开头。