使用MediaCodec进行H264流媒体

Question

我目前正在尝试将Android用作Skype端点。 在这个阶段，我需要将视频编码为H.264（因为它是Skype支持的唯一格式）并将其封装在RTP中以使流式传输工作。

显然， MediaRecorder由于各种原因并不适合这种情况。 一个是因为它在完成后添加了MP4或3GP标头。 另一个原因是为了将延迟降至最低，硬件加速可能会派上用场。 这就是为什么我想利用最近对该框架的低级添加，即MediaCodec ， MediaExtractor等。

目前，我计划如下工作。 相机将其视频写入缓冲区。 MediaCodec使用H264对视频进行编码，并将结果写入另一个缓冲区。 该缓冲区由RTP封装器读取，该封装器将流数据发送到服务器。 这是我的第一个问题：这个计划听起来对你有用吗？

现在我已经陷入第一步了。 由于互联网上关于使用相机的所有文档都使用了MediaRecorder ，因此在编码之前我找不到将原始数据存储到缓冲区的方法。 addCallbackBuffer适合这个吗？ 任何人都有一个例子的链接？

接下来，我找不到很多关于MediaCodec的文档（因为它相当新）。 有固定教程的人吗？

最后：关于RTP库的任何建议？

非常感谢提前！

Answer 1

UPDATE
我终于能够从h264帧创建适当的RTP包。 这是你必须记住的（实际​​上很简单）：

编码器确实为每个帧创建NAL标头。 但它将每个帧作为h264 字节流返回。 这意味着每个帧以三个0字节和一个1字节开始。 您所要做的就是删除那些开始前缀，并将帧放入RTP数据包（或使用FU-As将其拆分）。

现在回答你的问题：

在编码之前，我找不到将原始数据存储到缓冲区的方法。 addCallbackBuffer适合这个吗？

您应该使用camera.setPreviewCallback（...），并将每个帧添加到编码器。

我找不到很多关于MediaCodec的文档（因为它相当新）。 有固定教程的人吗？

这应该是关于MediaCodec如何工作的一个很好的介绍。 http://dpsm.wordpress.com/2012/07/28/android-mediacodec-decoded/

最后：关于RTP库的任何建议？

我正在使用jlibrtp来完成工作。

Answer 2

我对MediaCodec或MediaExtractor一无所知，但我对MediaRecorder非常熟悉，并成功实现了基于SpyDroid的RTSP服务器，该服务器捕获MediaRecorder的H264 / AMRNB输出。 基本思想是代码创建一个本地套接字对，并使用MediaRecorder的setOutputFile将输出写入该对中的一个套接字。 然后，程序从另一个套接字读取视频或音频流，将其解析为数据包，然后将每个数据包包装成一个或多个通过UDP发送的RTP数据包。

MediaRecorder确实在它完成后添加了MOOV标头，但如果你以RTP格式提供H264视频，这不是问题。 基本上，视频流的开头有一个“mdat”标题。 它有4个字节作为标题的长度，后跟4个字节“mdat”。 读取长度以找出标头的长度，验证它是mdat标头，然后跳过其余的标头数据。 从那里开始，您将获得一个NAL单元流，其单位长度为4个字节。 小型NAL单元可以在单个RTP数据包中发送，较大的单元可以分解为FU数据包。 对于RTSP，您还需要提供描述流的SDP标头。 SpyDroid通过将非常短的电影写入文件来计算SDP标头中的信息，然后读取此文件以从末尾提取MOOV标头。 我的应用程序总是使用相同的大小，格式和比特率，所以我只提供一个静态字符串：

public static final String SDP_STRING =
        "m=video 5006 RTP/AVP 96\n"
                + "b=RR:0\n"
                + "a=rtpmap:96 H264/90000\n"
                + "a=fmtp:96 packetization-mode=1;profile-level-id=428028;sprop-parameter-sets=Z0KAKJWgKA9E,aM48gA==;\n"
                + "a=control:trackID=0\n"
                + "m=audio 5004 RTP/AVP 96\n"
                + "b=AS:128\n"
                + "b=RR:0\n"
                + "a=rtpmap:96 AMR/8000\n"
                + "a=fmtp:96 octet-align=1;\n"
                + "a=control:trackID=1\n";

这是我的标题为640x480x10fps，H264视频，具有8000/16/1 AMRNB音频。

有一点我可以警告你：如果你正在使用MediaRecorder，你的预览回调永远不会被调用。 这仅适用于相机模式，而不适用于录制视频时。 在录制视频时，我无法找到以非压缩格式访问预览图像的任何方法。

我强烈建议查看SpyDroid的代码。 这需要一些挖掘，但我打赌你想要的就是在那里。

Answer 3

您的计划绝对可行。 您可以注册一个Camera.PreviewCallback，它将获取图片数据并将其放入MediaCodec。 您读取输出并将其作为RTP发送。 一般情况下这很容易，但是在不同的设备上存在各种缺陷，如无证的颜色空间和不同的MediaCodec行为，但它绝对是可能的。