apache Spark java：columnNameOfCorruptRecord 和 badRecordsPath 在加载 csv 时不起作用

Question

我们正在尝试在加载 spark 时执行错误的数据处理。 我们使用的是 spark 2.4.0。 目前，截至目前PERMISSIVE 、 FAILFAST和DROPMALFORMED模式正在按预期工作。 但是我尝试了所有columnNameOfCorruptRecord和badRecordsPath选项都不起作用。

我不确定这些选项是否受支持。 已经通过文档和谷歌搜索了很多。 但是columnNameOfCorruptRecord和badRecordsPath不起作用 这就是我使用它的方式

spark.read
              .option("badRecordsPath", "/tmp/badRecordsPath")
              .schema("Country String, Rank Integer")
              .csv("/tmp/inputFile.csv")

或者

spark.read
              .option("columnNameOfCorruptRecord", "corrupted")
              .schema("Country String, Rank Integer")
              .csv("/tmp/inputFile.csv")

任何人都可以请帮助我，一直在挣扎