ffmpeg如何从mp3文件中提取音频数据？

Question

在 ffmpeg 文档中，给出了一个mp2 解码的例子。 我尝试将此应用于 mp3：

#define SOURCE_FILE "ignore/audio01.mp3"
#define TARGET_FILE "ignore/target-audio01.pcm"
#define AUDIO_INBUF_SIZE 20480
#define AUDIO_REFILL_THRESH 4096
#define av_perr(errnum) \
    char av_err_buff[AV_ERROR_MAX_STRING_SIZE]; \
    av_strerror(errnum, (char *) &av_err_buff, AV_ERROR_MAX_STRING_SIZE); \
    fprintf(stderr, "\033[91m%s\033[0m\n", av_err_buff);

static int decode(AVCodecContext *dec_ctx, AVPacket *pkt, AVFrame *frame, FILE *outfile) {
    int ret, i, j;
    int data_size;

    ret = avcodec_send_packet(dec_ctx, pkt);
    if (ret < 0) {
        av_perr(ret);
        return EXIT_FAILURE;
    }

    while (ret >= 0) {
        ret = avcodec_receive_frame(dec_ctx, frame);
        if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) {
            break;
        } else if (ret < 0) {
            av_perr(ret);
            return EXIT_FAILURE;
        }
        data_size = av_get_bytes_per_sample(dec_ctx->sample_fmt);
        if (data_size < 0) {
            av_perr(data_size);
            return EXIT_FAILURE;
        }
        for (i = 0; i < frame->nb_samples; i++) {
            for (j = 0; j < dec_ctx->channels; j++) {
                fwrite(frame->data[j] + data_size * i, 1, data_size, outfile);
            }
        }
    }

    return EXIT_SUCCESS;
}

#define IS_NULL_PTR(ptr, message) \
    if (!ptr) { \
        fprintf(stderr, "\033[91m%s\033[0m\n", message); \
        goto FINALLY; \
    }
#define av_perr(errnum) \
    char av_err_buff[AV_ERROR_MAX_STRING_SIZE]; \
    av_strerror(errnum, (char *) &av_err_buff, AV_ERROR_MAX_STRING_SIZE); \
    fprintf(stderr, "\033[91m%s\033[0m\n", av_err_buff);

int main(int argc, char **argv) {
    const AVCodec *codec;
    AVCodecContext *c = nullptr;
    AVCodecParserContext *parser = nullptr;
    enum AVSampleFormat sfmt;

    int ret = 0, len = 0, n_channels = 0;
    FILE *source_file = nullptr, *target_file = nullptr;
    const char *fmt = nullptr;
    uint8_t inbuf[AUDIO_INBUF_SIZE + AV_INPUT_BUFFER_PADDING_SIZE];
    uint8_t *data = nullptr;
    size_t data_size = 0;
    AVPacket *pkt = nullptr;
    AVFrame *decode_frame = nullptr;

    ...

    data = inbuf;
    data_size = fread(inbuf, 1, AUDIO_INBUF_SIZE, source_file);
    while (data_size > 0) {
        ret = av_parser_parse2(parser, c, &pkt->data, &pkt->size, data, data_size, AV_NOPTS_VALUE, AV_NOPTS_VALUE, 0);
        if (ret < 0) {
            fprintf(stderr, "\033[91mError while parsing\033[0m\n");
            goto FINALLY;
        }
        data += ret;
        data_size -= ret;
        if (pkt->size && decode(c, pkt, decode_frame, target_file)) goto FINALLY;

        if (data_size < AUDIO_REFILL_THRESH) {
            memmove(inbuf, data, data_size);
            data = inbuf;
            len = fread(data + data_size, 1, AUDIO_INBUF_SIZE - data_size, source_file);
            if (len > 0) data_size += len;
        }
    }
    ...
}

我收到这些错误：

[mp3float @ 0x55c51ac63440] Header missing
Invalid data found when processing input

这是 ffmpeg 库的版本：

libavutil      57. 17.100 / 57. 17.100
libavcodec     59. 18.100 / 59. 18.100
libavformat    59. 16.100 / 59. 16.100
libavdevice    59.  4.100 / 59.  4.100
libavfilter     8. 24.100 /  8. 24.100
libswscale      6.  4.100 /  6.  4.100
libswresample   4.  3.100 /  4.  3.100
libpostproc    56.  3.100 / 56.  3.100

我想这是由于 mp3 和 mp2 帧的数据格式存在根本差异，但我找不到解码 mp3 的方法。

mp3和mp2的音频格式有什么本质区别？ 另外，我该怎么做才能正确处理 mp3 音频？

Answer 1

您可能想检查输入的 MP3 文件是否以 ID3 标签开头（很确定是这样）。 FFMPEG 在跳过特定编解码器标准未定义的元数据方面做得非常糟糕。 因此， av_parser_parse2()不会跳过 ID3 标签，然后avcodec_send_packet()会抱怨您提供给它的数据（因为它不会将 ID3 元数据识别为有效的 MP3 流）。

有关 ID3 header 的更多信息，请参阅https://id3.org/id3v2.3.0#ID3v2_header - 正确解析它，它的大小就是您需要跳过 IDF 标签的 Z65E8800B588B68A62AFCZ 的全部内容。 最简单的做法是读取文件的前 10 个字节并检查 ID3 标签（如果存在） - 解析标签的 rest 的大小，然后在输入文件中提前查找这么多字节。 从那时起，您可以读取文件的 rest 并将其内容正常传递给 FFMPEG 函数，如示例所示。