DML 错误记录……处理 Spark Delta 表中的错误记录
[英]DML error logging.. handling bad records in Spark Delta Table
问题描述
当我们将数据从登台加载到事实/中心表时，是否有一些选项可以捕获错误表中的错误记录/错误记录。 我在 Spark Delta 表中查找 DML 错误记录 Oracle。 如果有任何坏记录/被拒绝的表，它应该加载到另一个表中而不是抛出错误。 我需要直接的解决方案......在加载事实表中的数据之前不寻找数据验证......请参考下面公开发布的笔记本。
1 个解决方案
解决方案1
0 2023-01-09 09:02:03
使用选项 badRecordsPath，并将 bad_records 加载到所需位置，如下所示：
df = spark.readStream.format("cloudfiles").option("cloudfiles.format","parquet").option("badRecordsPath","req_path").schema(schema).load("source_path")
然后在 bad_records 位置创建就地增量表
Spark Delta 表更新
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.