为什么 PySpark 代码在访问 dataframe 时挂起一段时间然后突然终止
[英]Why PySpark code hangs for a while and then terminates abruptly while accessing a dataframe
提示:本站为国内最大中英文翻译问答网站，提供中英文对照查看，鼠标放在中文字句上可显示英文原文。
问题描述
问题陈述：PySpark 程序在根据特定字段不是 NULL 的条件从 dataframe 读取记录时挂起。该字段是字符串字段，可能包含也可能不包含字符串值。 对这个字符串字段的任何操作，比如检查NULL，计算字段长度，都会导致代码挂起，然后终止。
描述：例如，在我们的例子中，PySpark 程序从文件中读取数据并加载到 dataframe。名为“ErrorDescription”的新列添加到 dataframe。当任何字段的记录数据验证均失败。 在所有检查结束时，当读取 dataframe 以识别“ErrorDescription”字段所在的记录为 NULL（有效记录）时，有时活动成功完成，有时程序挂起然后终止。
到目前为止我们所做的：我们试图通过将 'ErrorDescription' 的初始值定义为 '' 或 "" 而不是 'NULL' 来解决这个问题。 但是，在通过所有数据验证处理记录后，每当我们检查 dataframe 中的“ErrorDescription”为“”或“”或 NULL 时，进程就会挂起并终止。 令人困惑的部分是，记录是通过多次迭代处理的，对于最初的 2 次迭代，此“ErrorDescription”检查工作正常，但对于下一次迭代，它会挂起然后终止。 我们修改了代码以跳过本次迭代并继续下一次迭代。 代码再次成功完成前两次迭代，跳过第三次迭代，成功执行第四次迭代并在第五次迭代中再次挂起并终止。 代码的行为是完全不合理的。 更令人困惑的是，错误 dataframe 是通过检查父 dataframe 中的错误记录而创建的，方法是检查 ErrorDescription 是否为 NOT NULL。但是代码挂在错误 dataframe 用于将数据加载到数据库的阶段. 我们一开始以为可能是数据库层面的问题，后来发现是pyspark懒惰求值导致dataframe只有在访问加载到数据库表时才执行的错误。
1 条回复
1楼 R Sawant 0 2023-01-30 10:41:29
解决方案：为解决此问题，我们定义了一个名为“ErrorFound”的 integer 列以及“ErrorDescription”列，如下所示。
.withColumn("ErrorDescription", lit(""))
.withColumn("ErrorFound",lit(0))
每当在记录中发现错误并使用相关错误描述值继续填充 ErrorDescription 列时，我们将字段 Error_Found 更改为 1。 那么在识别dataframe中的错误记录时，我们检查的是'ErrorFound == 1'，而不是检查ErrorDescription not equal to NULL or '' or ""。 通过这种方法，所有迭代都成功执行，代码挂起问题也得到解决。
结论：总而言之，如果您的 pyspark 代码正在检查 NULL 值的字符串字段并且代码挂起并终止，请尽可能切换到使用整数值。 这将解决问题。
问题未解决？试试搜索： 为什么 PySpark 代码在访问 dataframe 时挂起一段时间然后突然终止。
通过PySpark在Apache Spark中进行计算时，对数据帧执行groupBy
[英]Perform a groupBy on a dataframe while doing a computation in Apache Spark through PySpark
PySpark 中的 Groupby 和 UDF/UDAF，同时保持 DataFrame 结构
[英]Groupby and UDF/UDAF in PySpark while maintaining DataFrame structure
将 Pyspark dataframe 加载到 postgres RDS 中的表中时出错
[英]Error while Loading a Pyspark dataframe into a table in postgres RDS
在pyspark中为forframe调用foreach时出现__getattr__错误
[英]__getattr__ error while calling foreach for dataframe in pyspark
Pyspark 列值在创建 DataFrame 时自动移动
[英]Pyspark Column Values are getting shifted automatically while creating DataFrame
IndexingError：访问多索引数据帧时索引器过多
[英]IndexingError: Too many indexers while accessing multiindex dataframe
RecursionError: 超出最大递归深度，同时访问 dataframe
[英]RecursionError: maximum recursion depth exceeded, while accessing the dataframe
我在通过 dataframe 中的 position 访问列时遇到关键错误
[英]i got key error while accessing column by its position in dataframe
通过使用 foreach 方法处理旧 dataframe 创建新 pyspark dataframe 时出现泡菜错误
[英]Pickle error while creating new pyspark dataframe by processing old dataframe using foreach method
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
为什么类型都是字符串加载csv到pyspark数据帧？
通过PySpark在Apache Spark中进行计算时，对数据帧执行groupBy
PySpark 中的 Groupby 和 UDF/UDAF，同时保持 DataFrame 结构
将 Pyspark dataframe 加载到 postgres RDS 中的表中时出错
在pyspark中为forframe调用foreach时出现__getattr__错误
Pyspark 列值在创建 DataFrame 时自动移动
IndexingError：访问多索引数据帧时索引器过多
RecursionError: 超出最大递归深度，同时访问 dataframe
我在通过 dataframe 中的 position 访问列时遇到关键错误
通过使用 foreach 方法处理旧 dataframe 创建新 pyspark dataframe 时出现泡菜错误
相关标签