c ++ videoplayer ffmpeg：获取像素数据？

Question

我想获取一帧的像素数据。 我发现了这一点（在原始版本中为旧代码），并进行了一些更改。

我有以下代码：

AVFormatContext *pFormatCtx;
pFormatCtx = avformat_alloc_context();
// Open file
if (int err = avformat_open_input(&pFormatCtx, file, NULL, 0) != 0)
{
    exit(2);
}
// Get infromation about streams
if (avformat_find_stream_info(pFormatCtx, NULL) < 0)
{
    exit(2);
}

// # video stream
int videoStreamIndex = -1;
AVCodecContext *pVideoCodecCtx;
AVCodec *pVideoCodec;
int res = 0;
int width = 0;
int height = 0;
for (unsigned int i = 0; i < pFormatCtx->nb_streams; i++)
{
    if (pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO)
    {
        videoStreamIndex = i;
        pVideoCodecCtx = pFormatCtx->streams[i]->codec;
        // Find decoder
        pVideoCodec = avcodec_find_decoder(pVideoCodecCtx->codec_id);
        if (pVideoCodec)
        {
            // Open decoder
            res = !(avcodec_open2(pVideoCodecCtx, pVideoCodec, NULL) < 0);
            width = pVideoCodecCtx->coded_width;
            height = pVideoCodecCtx->coded_height;
        }
        break;
    }
}
// Frame width
width = pFormatCtx->streams[videoStreamIndex]->codec->width;
// Frame height
height = pFormatCtx->streams[videoStreamIndex]->codec->height;


AVPacket packet;
int got_picture_ptr;
AVPacket *avpkt;
AVFrame * pOutFrame;
pOutFrame = av_frame_alloc();
AVFrame * rgbOutFrame = av_frame_alloc();

if (!pOutFrame) {
    fprintf(stderr, "Could not allocate video frame\n");
    exit(1);
}

while (av_read_frame(pFormatCtx, &packet) >= 0)
{
    if (packet.stream_index == videoStreamIndex) 
    {
        // Decode packeg to frame.
        int videoFrameBytes = avcodec_decode_video2(pVideoCodecCtx, pOutFrame,
            &got_picture_ptr, &packet);

        // Create context
        SwsContext* pImgConvertCtx = sws_getContext(pVideoCodecCtx->width,
            pVideoCodecCtx->height,
            pVideoCodecCtx->pix_fmt,
            pVideoCodecCtx->width, pVideoCodecCtx->height,
            AV_PIX_FMT_YUV420P,
            SWS_BICUBIC, NULL, NULL, NULL);
        // Convert frame
        sws_scale(pImgConvertCtx, pOutFrame->data, pOutFrame->linesize,
            width, height, rgbOutFrame->data, rgbOutFrame->linesize);
    }

}

我知道，来自SwsContext和sws_scale的代码是错误的，但是我想知道，在哪里可以找到帧的像素数据...（以及以哪种格式存储）。

有人可以帮我吗？

Answer 1

像素数据存储在数据字段中。

根据文档：

uint8_t * AVFrame :: data [AV_NUM_DATA_POINTERS]

指向图片/通道平面的指针。

在这里查看更多信息。

一般来说，您的代码有点误导性，而且有很多bug。 我可以指出一些缺点：

1）您不需要在每个传入的视频数据包上创建新的SwsContext 。 while循环之前只需创建一次即可。

2）接下来，您有一个rgbOutFrame ，但是创建了SwsContext以便缩放为YUV420像素格式。 看起来很奇怪

3）此外， avcodec_decode_video2被调用，但是您既不检查返回值也不检查got_picture_ptr标志。 这种做法确实容易出错。

等等...

希望它可以帮助您改善程序并获得必要的结果。