当字符串以“d”结尾时，Spark 错误地将数据类型从 csv 解释为 Double

Question

有一个带有列 ID 的 CSV（格式：8 位数字和末尾的“D”）。 使用.option("inferSchema", "true") 读取 csv 时，它返回数据类型为 double 并修剪“D”。

ACADEMIC_YEAR_SEM	ID
2013/1	12345678D
2013/1	22345678D
2013/2	32345678D

图片： https://i.stack.imgur.com/18Nu6.png

是否有任何想法（除了 inferSchema=False）以获得正确的结果？ 感谢帮助！

Answer 1

您可以使用.schema指定模式，并传递一个包含列及其类型的字符串，以逗号分隔：

df2 = spark.read.format('csv').option("header", "true").schema("ACADEMIC_YEAR_SEM string, ID string")\
.load("pyspark_sample_data.csv")

+-----------------+--------+
|ACADEMIC_YEAR_SEM|      ID|
+-----------------+--------+
|           2013/1|1234567D|
|           2013/1|2234567D|
|           2013/2|3234567D|
+-----------------+--------+