AWS Glue PySpark無法計算記錄

Question

我正在使用AWS Glue從EC2（Postgre）中提取要轉換的數據，並在嘗試提取1個表時將其放在S3上。 我收到一個錯誤，看起來像這樣：

有什么我可以做的嗎？ 我試圖刪除空字段或fillna，但是這些都不起作用。

更新：我什至選擇了一個字符串類型的列，但仍然遇到相同的錯誤：

Answer 1

df.isnull().any()或df.isnull().sum()是否可以嘗試？ 這應該有助於我們查看包含無效NaN數據的列。 另外，請嘗試使用df.count(dropna = False) / df.na.drop()獲取記錄數。 請參考此處 ，其中更詳細地解釋了如何處理空列數據。

希望這可以幫助。