AWS Glue PySpark无法计算记录

Question

我正在使用AWS Glue从EC2（Postgre）中提取要转换的数据，并在尝试提取1个表时将其放在S3上。 我收到一个错误，看起来像这样：

有什么我可以做的吗？ 我试图删除空字段或fillna，但是这些都不起作用。

更新：我什至选择了一个字符串类型的列，但仍然遇到相同的错误：

Answer 1

df.isnull().any()或df.isnull().sum()是否可以尝试？ 这应该有助于我们查看包含无效NaN数据的列。 另外，请尝试使用df.count(dropna = False) / df.na.drop()获取记录数。 请参考此处 ，其中更详细地解释了如何处理空列数据。

希望这可以帮助。