简体   繁体   English

Azure Datafactory Copy Activity中有哪些处理坏文件的方法

[英]What are some ways to handle bad files in Azure Datafactory Copy Activity

When using the default datafactory copy activity to load files from json blobs (source using modified timestamp) to sqldb table (destination).当使用默认数据工厂复制活动将文件从 json blob(使用修改后的时间戳的源)加载到 sqldb 表(目标)时。 For the fault-tolerant settings, if the row is incompatible then it gets skipped, however if there is a bad file that is not a valid json format then the activity errors and retries instead of skipping the bad file.对于容错设置,如果该行不兼容,则会跳过该行,但是如果存在不是有效 json 格式的坏文件,则活动会出错并重试,而不是跳过坏文件。

What are some ways to identify/skip incompatible or corrupt files in ADF copy activity?有哪些方法可以在 ADF 复制活动中识别/跳过不兼容或损坏的文件?

Thanks in advance提前致谢

failure log screenshot失败日志截图

According to the Fault tolerance of copy activity in Azure Data Factory , the fault tolerance of copy activity only support binary files and tabular data .根据Azure 数据工厂中的复制活动容错,复制活动的容错只支持二进制文件表格数据
Identify invalid json files is not supported yet.尚不支持识别无效的 json 文件。

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 Azure DataFactory ForEach复制活动不是迭代,而是拉取blob中的所有文件。 为什么? - Azure DataFactory ForEach Copy activity is not iterating through but instead pulling all files in blob. Why? 我们可以在复制活动中提取 zip 文件吗 - Azure Datafactory - Can we extract a zip file in copy activity - Azure Datafactory Azure Datafactory 从 SAP 系统对未分区数据的复制活动 - Azure Datafactory Copy activity from SAP system on Unpartitioned data Azure 数据工厂|| 复制活动 - Azure DataFactory|| Copy Activtity Azure DataFactory增量BLOB副本 - Azure DataFactory Incremental BLOB copy 在没有 Azure DataFactory 的情况下将文件和文件夹从 Azure DataLake Gen1 复制到 Azure DataLake Gen2 - Copy files and folders from Azure DataLake Gen1 to Azure DataLake Gen2 without Azure DataFactory 如何在 azure 数据工厂复制活动中将 Session 参数传递给 Oracle.. 在 Oracle Linkedservice - How to pass Session parameters to Oracle in azure datafactory copy activity.. In Oracle Linkedservice 在 Azure Datafactory 中过滤 ForEach 活动 - Filter inside ForEach activity in Azure Datafactory 天蓝色数据工厂的猪活动无法读取输入 - azure datafactory pig activity cannot read input Azure DataFactory - 筛选活动条件表达式 - Azure DataFactory - Filter activity condition expression
 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM