读取多个csv文件，PySpark中每个csv文件的列数不同

Question

赏金将在 6 天后到期。 此问题的答案有资格获得+100声望赏金。 ForestGump正在寻找此问题的最新答案。

我想使用 PySpark 读取具有不同列数的多个 csv 文件。

Files=['Data/f1.csv','Data/f2.csv','Data/f3.csv','Data/f4.csv','Data/f5.csv']

f1 文件有 50 列，f2 还有 10 列，总共 60 列，f3 还有 30 列，f3 文件总共有 80 列，依此类推。

然而，

df = spark.read.csv(Files,header=True)

只给出 50 列。 我期待 80 列。 由于f1文件只有50列，所以剩下的30列将填充f1文件数据的NAN值。 其他 csv 文件也是如此。 Pandas dataframe 完美地给出了所有 80 列：

import pandas as pd
import glob
df = pd.concat(map(pd.read_csv, ['Data/f1.csv','Data/f2.csv','Data/f3.csv','Data/f4.csv','Data/f5.csv']))

但是我不能对 PySpark 做同样的事情。如何将上述 5 个 csv 文件的所有列读入单个火花 dataframe？

Answer 1

这是一个非常简单的修复。 我做了什么，

Files=['Data/f1.csv','Data/f2.csv','Data/f3.csv','Data/f4.csv','Data/f5.csv']
Files.reverse()
df = spark.read.csv(Files,inferSchema=True, header=True)

最后一个文件包含所有列，因为列是增量添加的。 扭转他们解决了问题。

Answer 2

您可以将每个文件读入其自己的 Spark dataframe，将所有数据帧合并为一个 dataframe，使用 union。

用更少的列填充数据框中缺失的列。

使用 union 或 reduce 合并它们。

from functools import reduce
from pyspark.sql.functions import lit, col

df_list = [spark.read.csv("f{}.csv".format(i), header=True) for i in range(1, 6)]

cols = [len(df.columns) for df in df_list]
max_cols = max(cols)

df_list = [df.select(*[col(c) for c in df.columns] + [lit(None).alias("col_{}".format(i+j)) for i in range(len(df.columns), max_cols)]) for j, df in enumerate(df_list)]

df_final = reduce(lambda x, y: x.union(y), df_list)

我在这个github上转载了你的案例。