[英]MediaCodec not decoding H264 encoded video data
我正在開發一個可以通過RTP接收H264編碼數據的應用程序，但是我很難讓Android的MediaCodec輸出任何內容。 我正在對RTP數據包進行解包，如此處所述https://stackoverflow.com/a/7668578/10788248
編碼幀重新組合后，我將其輸入到出隊的輸入緩沖區中。
對輸入緩沖區進行排隊時，沒有任何錯誤，但是解碼器的回調永遠不會調用onOutputBufferAvailable方法。
我能夠調用它的唯一方法是傳遞流結束標志，然后輸出大小為0。
我的問題是，“我顯然有什么錯嗎？” 以及“哪些潛在問題可能導致輸出緩沖區永遠不可用，但編解碼器沒有拋出錯誤？”
代碼已更新
LinkedList<DatagramPacket> packets = new LinkedList<>();
Thread socketReader = new Thread(() -> {
try {
DatagramSocket socket = new DatagramSocket(videoPort);
socket.connect(InetAddress.getByName(remoteAddress),remotePort);
byte[] b;
while (true){
b = new byte[1500];
DatagramPacket p = new DatagramPacket(b,1500);
socket.receive(p);
//Log.d(TAG,"RTP: "+bytesToHex(p.getData()));
packets.add(p);
}
} catch (Exception e) {
e.printStackTrace();
}
});
@SuppressLint({"NewApi", "LocalSuppress"}) Thread packetHandler = new Thread(() -> {
try {
MediaCodec decoder = MediaCodec.createDecoderByType(MIME_TYPE);
MediaFormat decoderFormat = MediaFormat.createVideoFormat(MIME_TYPE, 1280, 720);
LinkedList<ByteBuffer> decoderInputs = new LinkedList<>();
LinkedList<Integer> decoderIndices = new LinkedList<>();
decoder.setCallback(new MediaCodec.Callback() {
@Override
public void onInputBufferAvailable(@NonNull MediaCodec codec, int index) {
decoderInputs.add(codec.getInputBuffer(index));
decoderIndices.add(new Integer(index));
}
@Override
public void onOutputBufferAvailable(@NonNull MediaCodec codec, int index, @NonNull MediaCodec.BufferInfo info) {
Log.d(TAG,"OUTPUT AVAILABLE!!!!");
Log.d(TAG, String.valueOf(info.size));
}
@Override
public void onError(@NonNull MediaCodec codec, @NonNull MediaCodec.CodecException e) {
Log.e(TAG,e.toString());
}
@Override
public void onOutputFormatChanged(@NonNull MediaCodec codec, @NonNull MediaFormat format) {
Log.d(TAG,"FORMAT CHANGED");
}
});
decoder.configure(decoderFormat, null,null,0);
decoder.start();
RTPFrame frame = new RTPFrame();
boolean sps = false;
boolean pps = false;
while (true){
if(decoderIndices.peek()!=null){
DatagramPacket packet = packets.poll();
if(packet!=null){
byte[] data = packet.getData();
if(frame==null||(!frame.isInitialized())){
frame = new RTPFrame(data);
}
else{
if(frame.isComplete()){
Integer index = null;
ByteBuffer decoderInput = null;
try {
decoderInput = decoderInputs.poll().put(frame.getFrame());
index = decoderIndices.poll();
int size = frame.getFrameSize();
if (frame.SPS) {
Log.d(TAG,"Depacketized at "+Integer.toUnsignedString(frame.getTime())+" length = "+frame.getFrameSize()+": " + bytesToHex(frame.getFrame().array()));
decoder.queueInputBuffer(index, 0, size, frame.getTime(), MediaCodec.BUFFER_FLAG_CODEC_CONFIG);
sps = true;
pps = false;
} else if (frame.PPS) {
if(sps){
Log.d(TAG,"Depacketized at "+Integer.toUnsignedString(frame.getTime())+" length = "+frame.getFrameSize()+": " + bytesToHex(frame.getFrame().array()));
decoder.queueInputBuffer(index, 0, size, frame.getTime(), MediaCodec.BUFFER_FLAG_CODEC_CONFIG);
pps = true;
}
} else if (!frame.badFrame) {
if(sps&&pps){
Log.d(TAG,"Depacketized at "+Integer.toUnsignedString(frame.getTime())+" length = "+frame.getFrameSize()+": " + bytesToHex(frame.getFrame().array()));
decoder.queueInputBuffer(index, 0, size, frame.getTime(), 0);
}
}
else{
throw new RuntimeException();
}
}
catch(Exception e){
e.printStackTrace();
if(index!=null){
decoderIndices.push(index);
}
decoderInput.clear();
decoderInputs.push(decoderInput);
}
frame = new RTPFrame();
}
else{
frame.addNALUnit(data);
}
}
if(frame.isComplete()){
Integer index = null;
ByteBuffer decoderInput = null;
try {
decoderInput = decoderInputs.poll().put(frame.getFrame());
index = decoderIndices.poll();
int size = frame.getFrameSize();
if (frame.SPS) {
Log.d(TAG,"Depacketized at "+Integer.toUnsignedString(frame.getTime())+" length = "+frame.getFrameSize()+": " + bytesToHex(frame.getFrame().array()));
decoder.queueInputBuffer(index, 0, size, frame.getTime(), MediaCodec.BUFFER_FLAG_CODEC_CONFIG);
sps = true;
pps = false;
} else if (frame.PPS) {
if(sps){
Log.d(TAG,"Depacketized at "+Integer.toUnsignedString(frame.getTime())+" length = "+frame.getFrameSize()+": " + bytesToHex(frame.getFrame().array()));
decoder.queueInputBuffer(index, 0, size, frame.getTime(), MediaCodec.BUFFER_FLAG_CODEC_CONFIG);
pps = true;
}
} else if (!frame.badFrame) {
if(sps&&pps){
Log.d(TAG,"Depacketized at "+Integer.toUnsignedString(frame.getTime())+" length = "+frame.getFrameSize()+": " + bytesToHex(frame.getFrame().array()));
decoder.queueInputBuffer(index, 0, size, frame.getTime(), 0);
}
}
else{
throw new Exception("bad frame");
}
}
catch(Exception e){
e.printStackTrace();
if(index!=null){
decoderIndices.push(index);
}
decoderInput.clear();
decoderInputs.push(decoderInput);
}
frame = new RTPFrame();
}
}
}
}
} catch (Exception e) {e.printStackTrace();}
});
這是我在一幀中收到的所有NAL單元的示例，以及如何對它們進行拆包。
RTP：80 63 00 2D 27 0E 64 30 66 B4 BA 42 3C 81 E0 00 80 6F ...
RTP：80 63 00 2E 27 0E 64 30 66 B4 BA 42 3C 01 F3 0F E0 3F ...
RTP：80 63 00 2F 27 0E 64 30 66 B4 BA 42 3C 01 37 9B FA BA ...
RTP：80 63 00 30 27 0E 64 30 66 B4 BA 42 3C 01 7F EA 75 7C ...
RTP：80 63 00 31 27 0E 64 30 66 B4 BA 42 3C 01 FA D8 A9 FF ...
RTP：80 63 00 32 27 0E 64 30 66 B4 BA 42 3C 01 1B C5 BC C0 ...
RTP：80 63 00 33 27 0E 64 30 66 B4 BA 42 3C 01 0F F4 9A DE ...
RTP：80 63 00 34 27 0E 64 30 66 B4 BA 42 3C 01 F4 35 CD 28 ...
RTP：80 63 00 35 27 0E 64 30 66 B4 BA 42 3C 01 9E 45 70 13 ...
RTP：80 E3 00 36 27 0E 64 30 66 B4 BA 42 3C 41 0F 18 0D 83 ...
D / RTPreader：以2985639104長度= 12611：00 00 00 01 21 E0 00 80 6F F0 B4 24 CD 5F 45 80 79 6E 0C ...
這是拆包前后的示例SPS和PPS
RTP：80 63 00 00 5F DF A1 70 4F 2F 8A 3E 27 42 00 1F 8D 68 05 00 5B A1 00 00 03 00 01 00 00 03 00 1E 0F 10 7A 80
以1608491376長度= 27：00 00 01 27 42 00 1F拆封的數據包A1 00 00 03 03 00 01 00 00 03 00 1E 0F 10 7A 80
以1608491376長度= 7：00 00 01 28 CE 32 48拆包
RTP：80 63 00 01 5F DF A1 70 4F 2F 8A 3E 28 CE 32 48
我要感謝@ greeble31和@ChrisBe在解決問題方面所提供的幫助。 問題確實出在我的RTPFrame類上。 具體來說，方法getFrame()遍歷包含NAL單元數據的ByteBuffer列表，並使用put(ByteBuffer)將它們添加到bb 。 這樣就增加了bb的position ，直到等於limit 。
public ByteBuffer getFrame() {
size = 4;
int nalCount = nalUnits.size();
for (int i = 0;i<nalCount;i++){
size+=nalUnits.get(i).data.length;
}
ByteBuffer bb = ByteBuffer.allocate(size);
bb.put(new byte[]{0,0,0,1});
for(NALUnit unit:nalUnits){
bb.put(unit.data);
}
return bb;
}
改變return bb; return (ByteBuffer)bb.position(0); 解決了這個問題。
使用 MediaCodec 在 Android 上使用 H264 數據解碼 RTP 流
[英]Decoding an RTP stream with H264 data on Android Using MediaCodec
解碼H264視頻時Android MediaCodec releaseOutputBuffer拋出MediaCodec.CodecException
[英]Android MediaCodec releaseOutputBuffer throws MediaCodec.CodecException when decoding H264 video
Muxing Android MediaCodec將H264數據包編碼為RTMP
[英]Muxing Android MediaCodec encoded H264 packets into RTMP
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.