WebView getVideo/Audio tracks or MediaStream 通过WebRTC发送到服务器

Question

我必须从播放 HLS stream（“m3m8”）的 Android WebView 获取视频/音频曲目，或者如果可能的话，获取 MediaStream object。

我使用方法 loadUrl("...m3m8") 在 WebView 中加载 HLS stream。 它运行没有问题，但我无法弄清楚如何从 HLS stream 获取实时视频和音频轨道。我阅读了很多文章，但找不到任何解决方案。 所以我的问题是 - 是否可以从 WebView 上运行的 HLS stream 获取音频和视频轨道？ 我需要获取音频和视频轨道，因为我应该通过接受 MediaStream 或音频轨道和视频轨道的 PeerConnection(WebRTC) 发送它们。 任何想法和例子都会有所帮助。 先感谢您。

Answer 1

HLS 通过定义一个播放列表（您的.m3u8文件）来工作，该播放列表指向视频块（比如segment00000.ts 、 segment00001.ts ……）。 它可以包含不同分辨率的不同流，但想法（非常简单）是您的播放器可以下载一个块，立即播放，同时下载下一个。

WebRTC 视频轨道采用 RTP 数据包。 我不知道 Android API 公开了什么，但感觉要么你可以将m3u8作为源传递给它（尽管对于通用 API 来说这可能有点奇怪），要么你不能，你必须自己读取HLS stream，提取RTP帧，传给WebRTC。

例如， gstreamer 的 hlsdemux似乎能够从 HLS 源读取。 从那里你可以提取 RTP 帧并将它们提供给你的 WebRTC 轨道。

可能这比您希望的要低一些，但是如果 Android API 没有为您做这件事，您必须自己做（或找一个做这件事的图书馆）。