Azure 数据工厂将数据 Blob 复制到 Cosmos db - 需要帮助跳过 2MB 文件
[英]Azure Data factory Copy data Blob to Cosmos db - need help skipping 2MB files
问题描述
我在管道中有一个 Azure 数据工厂复制活动 - 我正在将数据从 Blob 容器 /jsons in multiple virtual folders/ 复制到 Cosmos DB。 但是，存在且无法转义的边缘情况，即大于 2MB 的文件被放置在 Blob 存储中。 当复制活动选择它们时，传输/和后续管道活动/失败，因为我达到了 CosmosDB 的 2MB 硬限制。 我尝试设置查找活动/获取元数据，但似乎无法正确处理相关（大小）属性和删除活动所需的输出。
任何人都可以就如何处理这个问题提出建议吗？
谢谢你。
1 个解决方案
解决方案1
1 2019-12-20 02:06:08
应该可以在 Get Metadata 活动中获取文件的大小。但请注意，它以字节为单位，只能应用于文件。
据我所知，无法避免 Cosmos db 文档的 2mb 限制。您可以参考这种情况： Azure Cosmos DB 中存储的单个文档的大小限制是多少
使用Azure Data Factory将Azure cosmos db中的json数据复制到Azure sql
[英]Copy json data from Azure cosmos db to Azure sql using Azure Data Factory
ADF（azure数据工厂）将数据从SQL Server复制到Cosmos DB，其中字段包含json对象
[英]ADF (azure data factory) copy data from SQL Server to Cosmos DB with field contain json object
Azure 数据工厂：从 csv 读取并逐行复制到 cosmos db
[英]Azure Data Factory: read from csv and copy row by row to a cosmos db
无法在 azure 数据工厂中获取对 cosmos db 的查询的标量值
[英]Unable to get scalar value of a query on cosmos db in azure data factory
Azure 数据工厂 - 将数据从 ADLS 复制到 Cosmos DB - 在创建 ADLS 作为源的连接时出错
[英]Azure Data Factory- Copy data from ADLS -to Cosmos DB - getting error while creating connection for ADLS as source
将 XML 压缩文件从 HTTP 链接源复制并提取到 Azure 使用 Z3A5805BC0FZ63F 工厂数据存储的 Blob 存储
[英]Copy and Extracting Zipped XML files from HTTP Link Source to Azure Blob Storage using Azure Data Factory
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
Azure 数据工厂和 Cosmos DB
使用Azure Data Factory将Azure cosmos db中的json数据复制到Azure sql
ADF（azure数据工厂）将数据从SQL Server复制到Cosmos DB，其中字段包含json对象
Azure 数据工厂：从 csv 读取并逐行复制到 cosmos db
Azure 数据工厂复制文件
无法在 azure 数据工厂中获取对 cosmos db 的查询的标量值
Azure 数据工厂 - 将数据从 ADLS 复制到 Cosmos DB - 在创建 ADLS 作为源的连接时出错
将 XML 压缩文件从 HTTP 链接源复制并提取到 Azure 使用 Z3A5805BC0FZ63F 工厂数据存储的 Blob 存储
DB2 上的 Azure 数据工厂复制失败
Azure数据工厂复制数据动态获取最后一个Blob
相关标签