使用df.fillna（0）时发生错误

Question

使用spark + python的非常简单的代码：

df = spark.read.option("header","true").csv(file_name)
df = df_abnor_matrix.fillna(0)

但发生错误：

pyspark.sql.utils.AnalysisException：u无法解析（ProductVersion，IMEI，FROMTIME，TOTIME，STATISTICTIME，TimeStamp，label，MD5，cp_com.game.shns.uc，cp_com中的列名“ cp_com.game.shns.uc”云昌

它出什么问题了？ cp_com.game.shns.uc在列表中。

Answer 1

Spark在列名中不支持点字符， 请检查issue ，因此在使用csv之前，您需要用下划线替换点。