Azure 數據工廠將數據 Blob 復制到 Cosmos db - 需要幫助跳過 2MB 文件
[英]Azure Data factory Copy data Blob to Cosmos db - need help skipping 2MB files
問題描述
我在管道中有一個 Azure 數據工廠復制活動 - 我正在將數據從 Blob 容器 /jsons in multiple virtual folders/ 復制到 Cosmos DB。 但是，存在且無法轉義的邊緣情況，即大於 2MB 的文件被放置在 Blob 存儲中。 當復制活動選擇它們時，傳輸/和后續管道活動/失敗，因為我達到了 CosmosDB 的 2MB 硬限制。 我嘗試設置查找活動/獲取元數據，但似乎無法正確處理相關（大小）屬性和刪除活動所需的輸出。
任何人都可以就如何處理這個問題提出建議嗎？
謝謝你。
1 個解決方案
解決方案1
1 2019-12-20 02:06:08
應該可以在 Get Metadata 活動中獲取文件的大小。但請注意，它以字節為單位，只能應用於文件。
據我所知，無法避免 Cosmos db 文檔的 2mb 限制。您可以參考這種情況： Azure Cosmos DB 中存儲的單個文檔的大小限制是多少
使用Azure Data Factory將Azure cosmos db中的json數據復制到Azure sql
[英]Copy json data from Azure cosmos db to Azure sql using Azure Data Factory
ADF（azure數據工廠）將數據從SQL Server復制到Cosmos DB，其中字段包含json對象
[英]ADF (azure data factory) copy data from SQL Server to Cosmos DB with field contain json object
Azure 數據工廠：從 csv 讀取並逐行復制到 cosmos db
[英]Azure Data Factory: read from csv and copy row by row to a cosmos db
無法在 azure 數據工廠中獲取對 cosmos db 的查詢的標量值
[英]Unable to get scalar value of a query on cosmos db in azure data factory
Azure 數據工廠 - 將數據從 ADLS 復制到 Cosmos DB - 在創建 ADLS 作為源的連接時出錯
[英]Azure Data Factory- Copy data from ADLS -to Cosmos DB - getting error while creating connection for ADLS as source
將 XML 壓縮文件從 HTTP 鏈接源復制並提取到 Azure 使用 Z3A5805BC0FZ63F 工廠數據存儲的 Blob 存儲
[英]Copy and Extracting Zipped XML files from HTTP Link Source to Azure Blob Storage using Azure Data Factory
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
相關問題
Azure 數據工廠和 Cosmos DB
使用Azure Data Factory將Azure cosmos db中的json數據復制到Azure sql
ADF（azure數據工廠）將數據從SQL Server復制到Cosmos DB，其中字段包含json對象
Azure 數據工廠：從 csv 讀取並逐行復制到 cosmos db
Azure 數據工廠復制文件
無法在 azure 數據工廠中獲取對 cosmos db 的查詢的標量值
Azure 數據工廠 - 將數據從 ADLS 復制到 Cosmos DB - 在創建 ADLS 作為源的連接時出錯
將 XML 壓縮文件從 HTTP 鏈接源復制並提取到 Azure 使用 Z3A5805BC0FZ63F 工廠數據存儲的 Blob 存儲
DB2 上的 Azure 數據工廠復制失敗
Azure數據工廠復制數據動態獲取最后一個Blob
相關標簽