如何使用 pandas 中的時區將 unix 紀元時間轉換為日期時間

Question

我有許多 csv 文件，其中包含 Unix 紀元時間，需要將其轉換為人類可讀的日期/時間。 以下 Python 代碼可以完成這項工作，但速度很慢。

df['dt'] = pd.to_datetime(df['epoch'], unit='s')
df['dt'] = df.apply(lambda x: x['dt'].tz_localize('UTC').tz_convert('Europe/Amsterdam'), axis=1)

實際上，第二行是瓶頸（100 萬行約 30 秒）。 因此，即使借助多處理，它也無法擴展，因為我總共擁有超過 10 億條記錄。 我怎樣才能讓它更快？

Answer 1

• 該問題與pandas ，純 python 版本是將 unix 時間戳字符串轉換為可讀日期
• pandas.Series.dt.tz_localize & pandas.Series.dt.tz_convert都是矢量化函數，不需要使用.apply() 。
  • 矢量化實現比.apply()快 8159 倍。
  • 必須使用.dt訪問器。
• 最好使用pd.to_datetime(df['DT'], unit='s', utc=True)並刪除.dt.tz_localize('UTC') 。

import pandas as pd

# test dataframe with 1M rows
df = pd.DataFrame({'DT': [1349720105, 1349806505, 1349892905, 1349979305, 1350065705]})
df['DT'] = pd.to_datetime(df['DT'], unit='s')
df = pd.concat([df]*200000).reset_index(drop=True)

# display(df.head()
                 DT
2012-10-08 18:15:05
2012-10-09 18:15:05
2012-10-10 18:15:05
2012-10-11 18:15:05
2012-10-12 18:15:05

# convert the column
df['DT'] = df['DT'].dt.tz_localize('UTC').dt.tz_convert('Europe/Amsterdam')

# display(df.head())
                       DT
2012-10-08 20:15:05+02:00
2012-10-09 20:15:05+02:00
2012-10-10 20:15:05+02:00
2012-10-11 20:15:05+02:00
2012-10-12 20:15:05+02:00

print(df.info())
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 1000000 entries, 0 to 999999
Data columns (total 1 columns):
 #   Column  Non-Null Count    Dtype                           
---  ------  --------------    -----                           
 0   DT      1000000 non-null  datetime64[ns, Europe/Amsterdam]
dtypes: datetime64[ns, Europe/Amsterdam](1)
memory usage: 7.6 MB

選擇

• 當使用dtype pandas.to_datetime()轉換為datetime時間 dtype 時，此選項更簡潔並本地化為'UTC' 。

df['DT'] = pd.to_datetime(df['DT'], unit='s', utc=True).dt.tz_convert('Europe/Amsterdam')

• OP 的原始實現中最耗時的方面是 .apply() 中的x['dt'].tz_localize('UTC') .apply()
• 以下代碼在幾毫秒內運行的時間大致相同。

df['DT_1'] = pd.to_datetime(df['DT'], unit='s', utc=True).dt.tz_convert('Europe/Amsterdam')
df['DT_2'] = pd.to_datetime(df['DT'], unit='s', utc=True).apply(lambda x: x.tz_convert('Europe/Amsterdam'))

%%timeit測試

• 1M 行
• 這將測試可比較的矢量化版本，與來自 OP 的.apply()版本進行對比，其中'DT'已經轉換為datetime dtype 。

%%timeit
df['DT'].dt.tz_localize('UTC').dt.tz_convert('Europe/Amsterdam')
[out]:
4.4 ms ± 494 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

%%timeit
df.apply(lambda x: x['DT'].tz_localize('UTC').tz_convert('Europe/Amsterdam'), axis=1)
[out]:
35.9 s ± 572 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)