使用 MediaCodec 和 MediaMuxer 将 PCM 编码为 AAC 时没有音频

Question

我正在使用 MediaCodec 将 PCM 数据转换为 AAC 并使用 MediaMuxer 将此 aac 数据存储到 m4a 文件中。 没有视频。

该文件被生成，甚至可以播放。 但是没有声音。 如果我将 aac 文件导入 Audacity，它不会显示任何数据。 音频的长度甚至是预期的时间。 我知道数据正在被编码，尽管我不确定这些数据是否被正确编码。

编码 pcm 数据：

audioEncoder.setCallback(object : MediaCodec.Callback() {

    override fun onInputBufferAvailable(mc: MediaCodec, inputBufferId: Int) {
        updateRemoveAudioBufferIndex(inputBufferId)
    }

    override fun onOutputBufferAvailable(mc: MediaCodec, outputBufferId: Int, bufferInfo: MediaCodec.BufferInfo) {
        val outputBuffer = mc.getOutputBuffer(outputBufferId)

        if (bufferInfo.flags == MediaCodec.BUFFER_FLAG_CODEC_CONFIG) {
            audioEncoder.releaseOutputBuffer(outputBufferId, false)
            return
        }

        if (bufferInfo.size > 0) {
            outputBuffer?.position(bufferInfo.offset);
            outputBuffer?.limit(bufferInfo.offset + bufferInfo.size)

            muxer!!.writeSampleData(audioTrackIndex, outputBuffer!!, bufferInfo)
            audioEncoder.releaseOutputBuffer(outputBufferId, false)
        }

        if (bufferInfo.flags == BUFFER_FLAG_END_OF_STREAM) {
            cleanupAudioEncoder()
        }

    }

    override fun onError(mc: MediaCodec, ex: MediaCodec.CodecException) {
    }

    override fun onOutputFormatChanged(mc: MediaCodec, mf: MediaFormat) {
        audioTrackIndex = muxer!!.addTrack(audioEncoder.outputFormat)
        startMuxer()
    }
})

val format = MediaFormat()
format.setString(MediaFormat.KEY_MIME, "audio/mp4a-latm")
format.setInteger(MediaFormat.KEY_CHANNEL_COUNT, 1)
format.setInteger(MediaFormat.KEY_SAMPLE_RATE, 32000)
format.setInteger(MediaFormat.KEY_BIT_RATE, 128000)
format.setInteger(MediaFormat.KEY_AAC_PROFILE, MediaCodecInfo.CodecProfileLevel.AACObjectLC)

audioEncoder.configure(format, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE)
audioEncoder.start()


fun encodeAudio(pcmData: ByteBuffer) {
    if (audioInputBufferIds.isNotEmpty()) {
        val bufferId = updateRemoveAudioBufferIndex()
        val buffer = audioEncoder.getInputBuffer(bufferId) as ByteBuffer
        buffer.clear()
        buffer.put(pcmData)

        val flags = if (encodingStopped) BUFFER_FLAG_END_OF_STREAM else 0

        audioEncoder.queueInputBuffer(bufferId, 0, pcmData.capacity(), presentationTimeAudio.toLong(), flags)
        presentationTimeAudio += bufferIntervalInMicroseconds
    }
}

我经历了很多例子，我所做的一切似乎都是正确的。 如果我在 onOutputBufferAvailable function 中设置断点，很明显我正在接收编码数据。

Answer 1

事实证明，在将数据放入缓冲区后，您需要倒带：

buffer.put(pcmData)
buffer.rewind()

老实说，我对我遇到的使用 buffer.put 但从不调用 rewind 的示例应用程序的数量感到非常惊讶。 为什么他们甚至工作都超出了我的范围。 关于倒带的文档说明如下：

回退这个缓冲区。 position 设置为零，标记被丢弃。 在一系列通道写入或获取操作之前调用此方法，假设已经适当地设置了限制。

https://docs.oracle.com/javase/7/docs/api/java/nio/Buffer.html#rewind()

MediaCodec 期望缓冲区在开始编码之前指向 position 0。 因为我没有调用 rewind，所以 put function 导致缓冲区位于最后一个 position 中，因此，MediaCodec 认为这意味着没有要编码的数据。 奇怪的是，当编解码器没有给它编码数据时，MediaMuxer 甚至会费心写出数据。