帶有日期時間索引的 Pandas Pivot

Question

我在使用日期時間值作為索引來旋轉數據框時遇到了一些麻煩。 我的 df 看起來像這樣：

Timestamp           Value
2016-01-01 00:00:00 16.546900
2016-01-01 01:00:00 16.402375
2016-01-01 02:00:00 16.324250

其中時間戳為 a，datetime64[ns]。 我正在嘗試旋轉表格，使其看起來像這樣。

Hour       0    1    2    4   ....
Date
2016-01-01 16.5 16.4 16.3 17  ....
....
....

我嘗試使用下面的代碼，但運行時出現錯誤。

df3 =  pd.pivot_table(df2,index=np.unique(df2.index.date),columns=np.unique(df2.index.hour),values=df2.Temp)

KeyError                                  Traceback (most recent call last)
 in ()
      1 # Pivot Table
----> 2 df3 = pd.pivot_table(df2,index=np.unique(df2.index.date),columns=np.unique(df2.index.hour),values=df2.Temp)


~\Anaconda3\lib\site-packages\pandas\core\reshape\pivot.py in pivot_table(data, values, index, columns, aggfunc, fill_value, margins, dropna, margins_name) 56 for i in values: 57 if i not in data: ---> 58 raise KeyError(i) 59 60 to_filter = []

KeyError: 16.5469 

任何幫助或見解將不勝感激。

Answer 1

在沒有lambda的情況下完成此操作的另一種方法是從DateTimeIndex創建索引。

df2 = pd.pivot_table(df, index=df.index.date, columns=df.index.hour, values="Value")

Answer 2

我稍微擴展了如下輸入數據（假設在同一日期/小時內沒有重復的條目）

Timestamp           Value
2016-01-01 00:00:00 16.546900
2016-01-01 01:00:00 16.402375
2016-01-01 02:00:00 16.324250
2016-01-01 04:00:00 16.023928
2016-01-03 04:00:00 16.101919
2016-01-05 23:00:00 13.405928

它看起來有點尷尬，但像下面這樣的工作。

df2['Date'] = df2.Timestamp.apply(lambda x: str(x).split(" ")[0])
df2['Hour'] = df2.Timestamp.apply(lambda x: str(x).split(" ")[1].split(":")[0])
df3 = pd.pivot_table(df2, values='Value', index='Date', columns='Hour')

[輸出]

Hour        00      01        02        04          23
Date                    
2016-01-01  16.5469 16.402375 16.32425  16.023928   NaN
2016-01-03  NaN     NaN       NaN       16.101919   NaN
2016-01-05  NaN     NaN       NaN       NaN         13.405928

最后，如果您的列需要是整數，

df3.columns = [int(x) for x in df3.columns]

希望這可以幫助。

Answer 3

將@Seanny123 的答案調整為任意節奏：

start = [2018, 1, 1, 0, 0, 0]
end = [date.today().year, date.today().month, date.today().day]
quant='freq'
sTime_tmp = datetime.datetime(start[0], start[1], start[2], tzinfo = pytz.UTC)
eTime_tmp = datetime.datetime(end[0], end[1], end[2], tzinfo = pytz.UTC)
cadence = '5min'
t = pd.date_range(start=sTime_tmp,
                  end=eTime_tmp,
                  freq = cadence)
keo = pd.DataFrame(np.nan, index=t, columns=[quant])
keo[quant] = 0
keo = pd.pivot_table(keo, index=keo.index.time, columns=keo.index.date, values=quant)

keo