保存使用读取多个 Parquet 文件创建的 Pyspark SQL 数据帧时出错

Question

我一直在使用 databricks 上的以下命令读取多个镶木地板文件。

Xyz= spark.read.schema(XyzSchema).option("mergeSchema", "True").parquet('/dev/inbound/Xyz/ParquetFiles/*.parquet')

文件正在加载到数据帧中，我能够在数据帧上执行 show()、count()、过滤等操作

当我尝试保存此数据帧或尝试使用 toPandas() 将其转换为 Pandas 数据帧时会出现问题，下面是错误信息。

我的架构中的列只有 3 种数据类型 Double、String 和 Integer

引起：org.apache.spark.SparkException：由于阶段失败而中止作业：阶段 4.0 中的任务 3 失败 4 次，最近失败：阶段 4.0 中的任务 3.3 丢失（TID 427）（172.21.132.5 执行程序 0）：java .lang.UnsupportedOperationException: org.apache.parquet.column.values.dictionary.PlainValuesDictionary$PlainLongDictionary 在 org.apache.parquet.column.Dictionary.decodeToDouble(Dictionary.java:57) 在 org.apache.spark.sql.execution。 datasources.parquet.ParquetDictionary.decodeToDouble(ParquetDictionary.java:65) at org.apache.spark.sql.execution.vectorized.OnHeapColumnVector.getDouble(OnHeapColumnVector.java:496) at org.apache.spark.sql.catalyst.expressions。 GeneratedClass$GeneratedIteratorForCodegenStage1.processNext(Unknown Source) at org.apache.spark.sql.execution.BufferedRowIterator.hasNext(BufferedRowIterator.java:43) at org.apache.spark.sql.execution.WholeStageCodegenExec$$anonExec$1.hasNext(WholeStageCodegen .scala:758) 在 org.apache.spark.sql.execution.datasources.FileFormatWriter$。 executeTask(FileFormatWriter.scala:370) 在 org.apache.spark.sql.execution.datasources.FileFormatWriter$.$anonfun$write$16(FileFormatWriter.scala:300) 在 org.apache.spark.scheduler.ResultTask.$anonfun$ runTask$3(ResultTask.scala:75) at com.databricks.spark.util.ExecutorFrameProfiler$.record(ExecutorFrameProfiler.scala:110) at org.apache.spark.scheduler.ResultTask.$anonfun$runTask$1(ResultTask.scala: 75) 在 com.databricks.spark.util.ExecutorFrameProfiler$.record(ExecutorFrameProfiler.scala:110) 在 org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:55) 在 org.apache.spark.scheduler。 Task.doRunTask(Task.scala:150) 在 org.apache.spark.scheduler.Task.$anonfun$run$1(Task.scala:119) 在 com.databricks.spark.util.ExecutorFrameProfiler$.record(ExecutorFrameProfiler.scala :110) 在 org.apache.spark.scheduler.Task.run(Task.scala:91) 在 org.apache.spark.executor.Executor$TaskRunner.$anonfun$run$13(Executor.scala:824) 在 org. apache.spark.util.Utils$.tryWithSafeFinally(Utils.scala:1621) 在 org。 apache.spark.executor.Executor$TaskRunner.$anonfun$run$4(Executor.scala:827) at scala.runtime.java8.JFunction0$mcV$sp.apply(JFunction0$mcV$sp.java:23) at com。 databricks.spark.util.ExecutorFrameProfiler$.record(ExecutorFrameProfiler.scala:110) 在 org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:683) 在 java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor) .java:1149) 在 java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) 在 java.lang.Thread.run(Thread.java:748) 驱动程序堆栈跟踪：在 org.apache.spark.scheduler .DAGScheduler.failJobAndIndependentStages(DAGScheduler.scala:2927) 在 org.apache.spark.scheduler.DAGScheduler.$anonfun$abortStage$2(DAGScheduler.scala:2874) 在 org.apache.spark.scheduler.scheduler.scheduler.scheduler.DAGScheduler.$anonfun$abortStage$2(DAGScheduler.scala:2874) $adapted(DAGScheduler.scala:2868) at scala.collection.mutable.ResizableArray.foreach(ResizableArray.scala:62) at scala.collection.mutable.ResizableArray.foreach$(ResizableArray.scala:55) at scala.collection.m utable.ArrayBuffer.foreach(ArrayBuffer.scala:49) at org.apache.spark.scheduler.DAGScheduler.abortStage(DAGScheduler.scala:2868) at org.apache.spark.scheduler.DAGScheduler.$anonfun$handleTaskSetFailed$1(DAGScheduler.scala:2868) scala:1289) at org.apache.spark.scheduler.DAGScheduler.$anonfun$handleTaskSetFailed$1$adapted(DAGScheduler.scala:1289) at scala.Option.foreach(Option.scala:407) at org.apache.spark.scheduler .DAGScheduler.handleTaskSetFailed(DAGScheduler.scala:1289) 在 org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.doOnReceive(DAGScheduler.scala:3136) 在 org.apache.spark.scheduler.DAGSchedulerEventProcessLoop7DAGSchedulerEventProcessLoop.7DAGScheduler7DAGSchedulerEventProcessLoop.doOnReceive(DAGScheduler.scala:3136) org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.onReceive(DAGScheduler.scala:3065) 在 org.apache.spark.util.EventLoop$$anon$1.run(EventLoop.scala:49) 在 org.apache.spark.scheduler。 DAGcheduler.runJob(DAGScheduler.scala:1062) 在 org.apache.spark.SparkContext.runJobInternal(SparkContext.scala:2490) 在 org.apache.spark.SparkContext.runJ ob(SparkContext.scala:2473) at org.apache.spark.sql.execution.datasources.FileFormatWriter$.write(FileFormatWriter.scala:289) ... 43 更多 引起：java.lang.UnsupportedOperationException：org.apache。 parquet.column.values.dictionary.PlainValuesDictionary$PlainLongDictionary 在 org.apache.parquet.column.Dictionary.decodeToDouble(Dictionary.java:57) 在 org.apache.spark.sql.execution.datasources.parquet.ParquetDictionary.decodeToDouble(Parquet) .java:65) 在 org.apache.spark.sql.execution.vectorized.OnHeapColumnVector.getDouble(OnHeapColumnVector.java:496) 在 org.apache.spark.sql.catalyst.expressions.GeneratedClass$GeneratedIteratorForCodegenStage1.processNext（未知来源）在 org.apache.spark.sql.execution.BufferedRowIterator.hasNext(BufferedRowIterator.java:43) 在 org.apache.spark.sql.execution.WholeStageCodegenExec$$anon$1.hasNext(WholeStageCodegenExec.scala:758) 在 org.apache .spark.sql.execution.datasources.FileFormatWriter$.executeTask(FileFormatWriter.scala:370) 在 org.apa che.spark.sql.execution.datasources.FileFormatWriter$.$anonfun$write$16(FileFormatWriter.scala:300) 在 org.apache.spark.scheduler.ResultTask.$anonfun$runTask$3(ResultTask.scala:75) 在 com .databricks.spark.util.ExecutorFrameProfiler$.record(ExecutorFrameProfiler.scala:110) 在 org.apache.spark.scheduler.ResultTask.$anonfun$runTask$1(ResultTask.scala:75) 在 com.databricks.spark.util。 ExecutorFrameProfiler$.record(ExecutorFrameProfiler.scala:110) at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:55) at org.apache.spark.scheduler.Task.doRunTask(Task.scala:150) at org.apache.spark.scheduler.Task.$anonfun$run$1(Task.scala:119) 在 com.databricks.spark.util.ExecutorFrameProfiler$.record(ExecutorFrameProfiler.scala:110) 在 org.apache.spark.scheduler .Task.run(Task.scala:91) 在 org.apache.spark.executor.Executor$TaskRunner.$anonfun$run$13(Executor.scala:824) 在 org.apache.spark.util.Utils$.tryWithSafeFinally( Utils.scala:1621) 在 org.apache.spark.executor.Executor$TaskRunner.$anonfun $run$4(Executor.scala:827) 在 scala.runtime.java8.JFunction0$mcV$sp.apply(JFunction0$mcV$sp.java:23) 在 com.databricks.spark.util.ExecutorFrameProfiler$.record(ExecutorFrameProfiler .scala:110) 在 org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:683) 在 java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) 在 java.util.concurrent。 ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)