Pandas to_datetime 减慢脚本

Question

我有一个读取 CSV 文件的脚本，它最近似乎变慢了（我确信它曾经用这个代码运行得更快）。 我已将问题缩小到这一行代码：

data['datetime'] = pd.to_datetime(data['datetime'])

CSV 非常基础：

2021-11-03 09:30:00-04:00,150.39,150.8,150.3,150.47,9583

然而，仅运行 2000 行需要大约 0.2 秒，这似乎比我想象的要慢得多。

我曾尝试更新 python 和 pandas，以防万一，但问题仍然存在。

这段时间是否正常，还有什么我可以检查或做的事情来提高速度？

EDIT2 - 我重新创建了 CSV，我认为这已经治愈了它。 不幸的是它没有，我仍然在 ~0.2s 运行这行代码

Answer 1

尝试这个：

df = pd.read_csv(file, parse_dates=['datetime'])

编辑

如果它不适用于日期格式，请尝试以下操作：

dateparse = lambda x: datetime.strptime(x, '%Y-%m-%d %H:%M:%S')

df = pd.read_csv(file, parse_dates=['datetime'], date_parser=dateparse)