.net MongoDB驅動程序批量寫入Cosmos MongoDB超時

Question

我正在嘗試將bulkwrite命令與ReplaceOneModel一起使用，以將超過6000條記錄追加上傳到我們的CosmosDB中。 我曾嘗試一次將批處理增量降低至100條記錄，但在插入約500次后出現超時異常。 數據庫上的RU設置為10000。嘗試使用分區鍵和不使用分區鍵，並關閉有序和驗證選項，並且仍然收到超時異常。 我將連接字符串上的連接超時設置為5分鍾。 我還添加了批次之間的一分鍾延遲，但沒有運氣。 一張一張地插入記錄時，沒有錯誤，但是該批處理花費的時間太長。

有人可以推薦一些東西來防止超時發生嗎？

Answer 1

我最近使用mongoimport工具通過Mongo API通過Mongo API將數百萬個文檔插入CosmosDB，其中numInsertionWorkers設置為128，而我的收藏臨時設置為100,000 RU。 只花了幾分鍾。 使用SQL API在10,000 RU的情況下，我通常會在短短幾秒鍾內插入約6000個文檔，因此您遇到的上述情況並不常見

是否有使用bulkWrite的特定原因？ 相反，如果發出單獨的寫操作，但有多個客戶端寫程序線程，則可以並行執行多個批處理，則可以實現目標。 您將需要調整對RU執行的並發寫入次數，以避免出現過多的“請求速率大”異常。