我无法通过 pandas read_parquet function 读取镶木地板文件

Question

当我使用 pd.read_parquet 读取镶木地板文件时，会显示此错误

我的代码：

import pandas as pd
df = pd.read_parquet("fhv_tripdata_2018-05.parquet")

错误：

ArrowInvalid: Casting from timestamp[us] to timestamp[ns] would result in out of bounds timestamp: 32094334800000000

我想将此文件转换为 csv：

https://d37ci6vzurychx.cloudfront.net/trip-data/fhv_tripdata_2018-05.parquet

Answer 1

请提供一个最小示例，即生成错误的小型镶木地板文件。

这似乎有一些未解决的问题。 约定不兼容，显然通过 pandas 在 parquet 中读取/写入日期存在缺陷。因此，我提出了一个直接使用 pyarrow 的解决方案：

import pyarrow.parquet as pq
table = pq.read_table('fhv_tripdata_2018-05.parquet')
table.to_pandas(timestamp_as_object=True)

请注意额外的标志timestamp_as_object ，它可以防止您观察到的溢出。