强制将 pandas dataframe 列强制转换为 int64 类型

Question

我正在处理 TB 级的轻度嘈杂数据，这些数据被分解为约 20 GB 的数据帧。 可能每 200 万行中有 20 行在某些列中有错误数据。 我想要将 pandas 数据帧列快速强制类型转换为int ，仅将无法强制为int的值清零(NaN) （不要将 null 排除在整行之外）

使用pd.to_numeric(df, errors='coerce')我已经能够删除字符串。 然后我的问题是使用.astype(pd.Int64Dtype()) 。

这已经多次给出错误

"TypeError: cannot safely cast non-equivalent float64 to int64"

• 一次是由于 0.5 的存在，另一次是由于存在高于 Int64 容量的 21 位代码。

解决这个问题最有效的方法是什么

Answer 1

您是否尝试添加downcast参数：

df[col] = pd.to_numeric(df[col], errors='coerce', downcast='integer')