HTCondor 分散聚集

Question

我正在開發一個項目，我需要將視頻分辨率從 1080p 降低到 720p。 該部分使用命令“ffmpeg -I inputVideo.mp4 -r 60 -s hd720 outputVideo.mp4”非常簡單。

現在，這個想法是使用 HTCondor，所以每個Resource接收視頻的一部分（ Scatter ），降低它的質量，然后返回它，所以最后所有部分可以放在一起制作完整的視頻 720p（ Gather ）。 問題是，每個節點都返回自己的段，所以我怎樣才能使返回的是總路口視頻。 我想到了使用 a.dag 文件，所以在執行之后，它會運行一個腳本來合並它們，但是，據我所知，在每個節點上運行的文檔中，而不是在所有段所在的地方，是客戶，我猜。

所以我想問一下，你有什么建議可以合並輸出視頻文件。

Answer 1

我認為你在達格曼的正確軌道上。 從文檔中的鑽石 dag 開始：

https://htcondor.readthedocs.io/en/stable/users-manual/dagman-applications.html#the-dag-input-file-basic-commands

但也許您需要 2 個以上的節點來進行處理——散射。 當這些 HTCondor 作業中的每一個完成時，輸出將被發送回提交機器。 您可以將所有這些發送到 HTCondor 工作節點以進行最終組裝，或者，如果組裝不是 cpu 密集型活動，則只需在所有中間輸出所在的提交機器上運行它。 在 HTCondor 中，“local universe”作業看起來就像一個普通的作業，但在提交機器上運行。 也許依賴於所有分散節點的最終節點可能是本地 Universe 作業。

在 dagman 的培訓課程中，有一個與 mandlebrot 集類似的圖像處理示例。 此鏈接可能會給您一些好主意：

https://opensciencegrid.org/user-school-2019/#materials/day4/part4-ex1-simple-dag/