为什么读取 parquet 文件时出现“不是 Parquet 文件”错误
[英]Why do I get the “is not a Parquet file” error when reading a parquet file
问题描述
从 hdfs 读取 parquet 文件时出现以下错误
2020-06-04 14:11:23 WARN TaskSetManager:66 - Lost task 44.0 in stage 1.0 (TID 3514, 192.168.16.41, executor 1): java.lang.RuntimeException: hdfs://data-hadoop-hdfs-nn.hadoop:8020/somedata/serviceName=someService/masterAccount=ma/siteAccount=sa/systemCode=111/part-00170-7ff5ac19-98b7-4a5a-b93d-9e988dff07eb.c000.snappy.parquet is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [55, 49, 98, 48]
我在互联网上发现了类似的问题，但大多数人试图阅读除 parquet 之外的其他文件类型。 我 100% 确定该文件是以 parquet 格式编写的，如日志中所示。 文件名是 part-00170-7ff5ac19-98b7-4a5a-b93d-9e988dff07eb.c000.snappy.parquet。
只有一个作业写入这个 somdata 文件夹，而这个作业只是写 parquet（spark 结构化流式作业），结尾也说它是一个 parquet 文件。 由同一作业编写的其他镶木地板文件不会引发此错误
0 个解决方案
为什么我不能使用“cat file1.parquet file2.parquet > result.parquet”合并多个镶木地板文件？
[英]Why can't I merge multiple parquet files using "cat file1.parquet file2. parquet > result.parquet"?
Py4JJavaError：调用 o26.parquet 时发生错误。 （阅读 Parquet 文件）
[英]Py4JJavaError: An error occurred while calling o26.parquet. (Reading Parquet file)
在写入和重新读取镶木地板文件时保留数据帧分区
[英]Preserve dataframe partitioning when writing and re-reading to parquet file
读取镶木地板文件时无法解析具有int和double的合并架构
[英]Merge Schema with int and double cannot be resolved when reading parquet file
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
从正在更新的镶木地板文件中读取时出错
为什么我不能使用“cat file1.parquet file2.parquet > result.parquet”合并多个镶木地板文件？
读取 gz.parquet 文件
如何在Spark中投影实木复合地板文件？
Py4JJavaError：调用 o26.parquet 时发生错误。 （阅读 Parquet 文件）
sparklyr:: 使用 R 中的箭头库读取镶木地板文件时出错
读取 Parquet 文件时，spark 如何决定列顺序
在写入和重新读取镶木地板文件时保留数据帧分区
读取镶木地板文件时无法解析具有int和double的合并架构
Spark认为我正在从Parquet文件中读取DataFrame
相关标签