Azure CosmosDB - 將集合中的所有文檔下載到本地目錄

Question

我試圖將我的cosmosDB集合中的所有文檔下載到本地目錄。 我想使用python修改所有JSON文檔中的一些內容，然后將它們上傳到另一個Azure帳戶。 下載我館藏中所有文件的最簡單，最快捷的方法是什么？ 我應該使用CosmosDB模擬器嗎？ 我被告知要查看Azure的數據工廠？ 這有助於在本地下載文件嗎？ 我也被提到了CosmosDB的數據遷移工具，我發現它有助於向CosmosDB導入數據，但我在導出時找不到多少。 我的收藏中有大約6GB的Json文件。

謝謝。

Answer 1

在過去，我使用過可從Microsoft下載的DocumentDb（CosmosDb）數據遷移工具。

運行應用程序時，您需要指定源和目標，如下面的屏幕截圖所示

確保選擇從DocumentDb導入並指定要從中導出的連接字符串和集合。 如果要轉儲集合的全部內容，查詢就是這樣

SELECT * FROM c

然后在目標信息下，您可以選擇一個將保存到本地硬盤的JSON文件。 您可以以任何方式自由修改該文件的內容，然后在准備好將其導回到另一個集合時將其用作源信息。

Answer 2

我使用了遷移工具，發現如果你有一個合理大小的數據庫很好，因為它在相當長的一段時間內使用了處理和帶寬。 我不得不打碎一個10GB的數據庫，這花了太長時間，所以最終使用Data Lake Analytics通過腳本傳輸到SQL服務器和Blob存儲。 它為您提供了很大的靈活性來轉換數據並存儲在其他分布式系統的Data Lake中。 如果需要，如果您使用cosmos進行分段並且需要通過任何清理算法運行數據，它也會有所幫助。

其他優點是您可以設置批處理，並獲得大量處理統計信息以確定如何優化大數據轉換。 希望這可以幫助。 干杯。