從許多機器上收集文件？

Question

我在網絡中連接了許多計算機（超過20台）。 每台機器都訪問一個中央數據庫，對其進行查詢，處理所查詢的信息，然后將結果寫入其本地硬盤驅動器上的文件中。

處理之后，我希望能夠將所有這些文件（來自所有遠程計算機）“抓取”回主機進行存儲。

我想到了三種可能的方法：

（1）從主機rsync到每個遠程計算機，並“詢問”文件

（2）從每個遠程計算機到主機rsync，並“發送”文件

（3）在每台遠程計算機上創建一個NFS共享，主機可以訪問該NFS共享並讀取文件（在這種情況下，無需“ rsync”）

其中一種方法比其他方法更好嗎？ 有我不知道的更好方法嗎？

所有機器都使用Ubuntu 10.04LTS。 在此先感謝您的任何建議。

Answer 1

您可以在主計算機上創建一個 NFS共享，並在每個遠程計算機上安裝該共享。 似乎少了一些工作。

Answer 2

在性能方面，實際上是相同的。 您仍然通過（相對）較慢的網絡連接發送文件。

現在，我想說您采用哪種方法取決於您要在哪里處理錯誤或不正常情況。 如果您想把責任放在處理計算機上，請使用rsync回到主要的計算機上。 或者如果您想讓主要的人組裝數據並確保一切正常，則反過來。

至於共享空間方法，我將在主機上創建一個共享 ，然后讓其他人對其進行寫入。 它們可以在處理完成后立即開始，確保正確傳輸文件，然后驗證校驗和或其他內容。

Answer 3

我希望使用選項（2），因為您知道客戶端計算機上的處理何時完成。 您可以在所有客戶端計算機上使用相同的SSH密鑰，也可以在主機上的authorized_keys文件中收集不同的密鑰。 如果主機由於某種原因不可用，也會更加可靠，您仍然可以稍后在NFS設置中同步結果時，將客戶端阻止。