Windows平台上的音頻/視頻流

Question

我正在構建一個可在教室環境中使用的交互式語言學習應用程序。 想法是，老師應該能夠與學生交談（=所有學生的音頻流），讓學生以兩個或更多的組彼此交談（=音頻P2P），讓學生觀看來自DVD播放器或來自媒體服務器。 應該可以保存音頻/視頻流。 教師還應該能夠監視，接管或阻止學生的桌面。 該平台是Windows，它是一個桌面應用程序，沒有Web應用程序。 音頻延遲應盡可能小。 可選地，應該為坐在家里的學生提供支持，但這並不是高度優先事項。

現在，我已經完成了該應用程序的教室控制部分（登錄，監視，阻止...），並且想要啟動音頻和視頻部分。 我一直在評估DirectX，GStreamer和SIP等幾個選項，但現在我必須做出決定。

DirectX在Windows平台上似乎是顯而易見的選擇，但它只能讓我捕獲和播放音頻和視頻。 我應該自己做編碼/解碼/網絡部分。

GStreamer包含各種選項來捕獲/編碼/流/保存音頻和視頻流。 我已經對其進行了一些實驗（ossbuild），它似乎確實需要大量的反復試驗才能使某些功能正常工作：-麥克風捕獲（通過directsoundsrc）在某些計算機上產生了開裂的噪音-rtpL16有效負載無法正常工作-通過網絡流原始音頻只能以8000的采樣率工作，沒有更高的采樣率-在某些計算機上接收到mpeg4視頻（I幀不佳）時會出現很多錯誤，而在某些計算機上則差於其他計算機。在linux平台上。 Windows平台的開發和支持似乎有些落后。 但是，它是一個強大的框架，可以節省我數月和數年的工作。

SIP似乎可以執行我想要的所有操作，但它的目標是電話和IM。 我不知道SIP有多靈活。 在我看來，SIP層將只是開銷，因為我已經擁有一個可以控制和設置所有流的中央（教師）應用程序。 諸如opalvoip和freeswitch之類的框架有趣的部分是實際的音頻/視頻捕獲，編碼和傳輸。 有誰知道這些有趣的部分如何與gstreamer之類的框架相關聯？ 它們易於集成到自定義應用程序中嗎？ 它們足夠靈活嗎？

有沒有人擁有全部或其中一項技術的經驗？ 也許我還有其他選擇？

非常感謝您的建議

Answer 1

您選擇的方案很少，可能會很適合您。 首先，您可以使用Media Foundation http://msdn.microsoft.com/en-us/library/ms697062%28v=VS.85%29.aspx，它鏈接了一些頂級介紹。 您將獲得用於管理源解碼器和代碼轉換器的API。 它提供了抽象以及低層接口來滿足需要。 另一種選擇是使用WPF中介元素，此鏈接提供了一些有關如何使用它的指針http://www.silverlightshow.net/items/Two-Great-WPF-Video-Samples-Online.aspx 。 您可能還想查看Silverlight 5的瀏覽器功能之外的功能，其http://www.microsoft.com/silverlight/future/目前處於測試階段，預計將於2011年2月推出

Answer 2

您是否考慮過為“ 藍色巨人”項目做出貢獻？