传递给 pandas 中的 datetime64 数据类型的单元有什么作用吗？

Question

传递给 pandas 中的 datetime64 数据类型的单元有什么作用吗？

考虑这段代码：

import pandas as pd 
v1 = pd.DataFrame({'Date':['2020-01-01']*1000}).astype({'Date':'datetime64'})
v2 = pd.DataFrame({'Date':['2020-01-01']*1000}).astype({'Date':'datetime64[ns]'})
v3 = pd.DataFrame({'Date':['2020-01-01']*1000}).astype({'Date':'datetime64[ms]'})
v4 = pd.DataFrame({'Date':['2020-01-01']*1000}).astype({'Date':'datetime64[s]'})
v5 = pd.DataFrame({'Date':['2020-01-01']*1000}).astype({'Date':'datetime64[h]'})
v6 = pd.DataFrame({'Date':['2020-01-01']*1000}).astype({'Date':'datetime64[D]'})
v7 = pd.DataFrame({'Date':['2020-01-01']*1000}).astype({'Date':'datetime64[M]'})
v8 = pd.DataFrame({'Date':['2020-01-01']*1000}).astype({'Date':'datetime64[Y]'})


for v in [v1,v2,v3,v4,v5,v6,v7,v8]:
    x = v.iloc[0,0]
    print(x, type(x), x.to_datetime64(), v.memory_usage()['Date'])

它返回：

2020-01-01 00:00:00 <class 'pandas._libs.tslibs.timestamps.Timestamp'> 2020-01-01T00:00:00.000000000 8000
2020-01-01 00:00:00 <class 'pandas._libs.tslibs.timestamps.Timestamp'> 2020-01-01T00:00:00.000000000 8000
2020-01-01 00:00:00 <class 'pandas._libs.tslibs.timestamps.Timestamp'> 2020-01-01T00:00:00.000000000 8000
2020-01-01 00:00:00 <class 'pandas._libs.tslibs.timestamps.Timestamp'> 2020-01-01T00:00:00.000000000 8000
2020-01-01 00:00:00 <class 'pandas._libs.tslibs.timestamps.Timestamp'> 2020-01-01T00:00:00.000000000 8000
2020-01-01 00:00:00 <class 'pandas._libs.tslibs.timestamps.Timestamp'> 2020-01-01T00:00:00.000000000 8000
2020-01-01 00:00:00 <class 'pandas._libs.tslibs.timestamps.Timestamp'> 2020-01-01T00:00:00.000000000 8000
2020-01-01 00:00:00 <class 'pandas._libs.tslibs.timestamps.Timestamp'> 2020-01-01T00:00:00.000000000 8000

Answer 1

首先： Pandas版本的datetime64类型只支持timezone。 具体来说，当您尝试使用 Pandas 系列中的datetime64变体时，它将仅支持as （阿秒）、 fs （飞秒）、 ps （皮秒）和ns （纳秒）分辨率，任何不太精确的内容都将替换为datetime64[ns] . datetime64[<res>, <tz>]变体只接受s （秒）、 ms （毫秒）、 us （微秒）和ns分辨率。 不要将这些与numpy datetime64 类型混淆。

对于 Pandas 和 Numpy，2 个字母的缩写决定了用于记录时间戳的分辨率，并且由于类型始终存储为 64 位，它决定了您可以在其中存储的值的范围。 它不会改变类型占用多少 memory！

来自numpy datetime64 Datetime Units文档：

日期时间始终以 1970-01-01T00:00 的纪元存储。 这意味着支持的日期始终是围绕纪元的对称间隔，在下表中称为“时间跨度”。

跨度的长度是64位integer的范围乘以日期或单位的长度。 例如，'W'（周）的时间跨度正好比'D'（天）的时间跨度长 7 倍，'D'（天）的时间跨度正好比时间跨度长 24 倍'h'（小时）。

您的实验不会显示 memory 使用有任何差异，因为 memory 的数量没有变化，只有分辨率发生变化。

因为 Pandas包装了 numpy datetime64类型，你实际上不能用datetime64[ns]以外的任何东西创建一个系列； 例如DateTimeIndex dtype参数被记录为接受numpy.dtype或DatetimeTZDtype或str ，默认为None ，但对于numpy.dtype有一个额外的限制：

请注意，唯一允许的 NumPy dtype 是“datetime64[ns]”。

因此，为了演示不同单位的效果，您必须直接使用numpy类型：

>>> import numpy as np
>>> for unit in ('Y', 'M', 'W', 'D', 'h', 'm', 's', 'ms', 'us', 'ns'):   # ps, fs and as have too small a span
...     print(unit, np.array(["2021-02-27T12:24:17.524627869"], dtype=f"datetime64[{unit}]"))
...
Y ['2021']
M ['2021-02']
W ['2021-02-25']
D ['2021-02-27']
h ['2021-02-27T12']
m ['2021-02-27T12:24']
s ['2021-02-27T12:24:17']
ms ['2021-02-27T12:24:17.524']
us ['2021-02-27T12:24:17.524627']
ns ['2021-02-27T12:24:17.524627869']

注意：Pandas 的文档只讨论了datetime64类型的ns分辨率，并且从 GitHub 的各种问题中可以看出，虽然一些代码库支持其他（更精细的）分辨率，但这种支持并不可靠，也没有得到广泛支持图书馆。 你的旅费可能会改变。