
[英]Why PySpark code hangs for a while and then terminates abruptly while accessing a dataframe
问题陈述:PySpark 程序在根据特定字段不是 NULL 的条件从 dataframe 读取记录时挂起。该字段是字符串字段,可能包含也可能不包含字符串值。 对这个字符串字段的任何操作,比如检查NULL,计算字段长度,都会导致代码挂起,然后终止。 描述:例如,在我们的例子中,PySpark 程序从文 ...