Pandas MultiIndex 中的重采樣
[英]Resampling Within a Pandas MultiIndex
問題描述
我有一些分層數據，這些數據最終變成時間序列數據，看起來像這樣：
df = pandas.DataFrame(
{'value_a': values_a, 'value_b': values_b},
index=[states, cities, dates])
df.index.names = ['State', 'City', 'Date']
df
value_a value_b
State City Date
Georgia Atlanta 2012-01-01 0 10
2012-01-02 1 11
2012-01-03 2 12
2012-01-04 3 13
Savanna 2012-01-01 4 14
2012-01-02 5 15
2012-01-03 6 16
2012-01-04 7 17
Alabama Mobile 2012-01-01 8 18
2012-01-02 9 19
2012-01-03 10 20
2012-01-04 11 21
Montgomery 2012-01-01 12 22
2012-01-02 13 23
2012-01-03 14 24
2012-01-04 15 25
我想對每個城市進行時間重采樣，所以像
df.resample("2D", how="sum")
會輸出
value_a value_b
State City Date
Georgia Atlanta 2012-01-01 1 21
2012-01-03 5 25
Savanna 2012-01-01 9 29
2012-01-03 13 33
Alabama Mobile 2012-01-01 17 37
2012-01-03 21 41
Montgomery 2012-01-01 25 45
2012-01-03 29 49
原樣， df.resample('2D', how='sum')讓我
TypeError: Only valid with DatetimeIndex or PeriodIndex
很公平，但我有點希望這能奏效：
>>> df.swaplevel('Date', 'State').resample('2D', how='sum')
TypeError: Only valid with DatetimeIndex or PeriodIndex
在這一點上我真的沒有想法了......有什么方法可以幫助我嗎？
8 個解決方案
解決方案1
58 已采納 2013-04-03 22:28:18
pd.Grouper允許您指定“目標對象的 groupby 指令”。 特別是，即使df.index不是DatetimeIndex ，您也可以使用它按日期分組：
df.groupby(pd.Grouper(freq='2D', level=-1))
level=-1告訴pd.Grouper在 MultiIndex 的最后一級中查找日期。 此外，您可以將其與索引中的其他級別值結合使用：
level_values = df.index.get_level_values
result = (df.groupby([level_values(i) for i in [0,1]]
+[pd.Grouper(freq='2D', level=-1)]).sum())
看起來有點尷尬，但using_Grouper比我原來的建議using_reset_index ：
import numpy as np
import pandas as pd
import datetime as DT
def using_Grouper(df):
level_values = df.index.get_level_values
return (df.groupby([level_values(i) for i in [0,1]]
+[pd.Grouper(freq='2D', level=-1)]).sum())
def using_reset_index(df):
df = df.reset_index(level=[0, 1])
return df.groupby(['State','City']).resample('2D').sum()
def using_stack(df):
# http://stackoverflow.com/a/15813787/190597
return (df.unstack(level=[0,1])
.resample('2D').sum()
.stack(level=[2,1])
.swaplevel(2,0))
def make_orig():
values_a = range(16)
values_b = range(10, 26)
states = ['Georgia']*8 + ['Alabama']*8
cities = ['Atlanta']*4 + ['Savanna']*4 + ['Mobile']*4 + ['Montgomery']*4
dates = pd.DatetimeIndex([DT.date(2012,1,1)+DT.timedelta(days = i) for i in range(4)]*4)
df = pd.DataFrame(
{'value_a': values_a, 'value_b': values_b},
index = [states, cities, dates])
df.index.names = ['State', 'City', 'Date']
return df
def make_df(N):
dates = pd.date_range('2000-1-1', periods=N)
states = np.arange(50)
cities = np.arange(10)
index = pd.MultiIndex.from_product([states, cities, dates],
names=['State', 'City', 'Date'])
df = pd.DataFrame(np.random.randint(10, size=(len(index),2)), index=index,
columns=['value_a', 'value_b'])
return df
df = make_orig()
print(using_Grouper(df))
產量
value_a value_b
State City Date
Alabama Mobile 2012-01-01 17 37
2012-01-03 21 41
Montgomery 2012-01-01 25 45
2012-01-03 29 49
Georgia Atlanta 2012-01-01 1 21
2012-01-03 5 25
Savanna 2012-01-01 9 29
2012-01-03 13 33
這是在 5000 行 DataFrame 上比較using_Grouper 、 using_reset_index和using_stack的基准測試：
In [30]: df = make_df(10)
In [34]: len(df)
Out[34]: 5000
In [32]: %timeit using_Grouper(df)
100 loops, best of 3: 6.03 ms per loop
In [33]: %timeit using_stack(df)
10 loops, best of 3: 22.3 ms per loop
In [31]: %timeit using_reset_index(df)
1 loop, best of 3: 659 ms per loop
解決方案2
42 2019-05-10 11:54:03
您需要groupby()方法並為您希望在結果 DataFrame 中維護的pd.Grouper的每個級別提供一個 pd.Grouper。 然后，您可以應用選擇的操作。
要重新采樣日期或時間戳級別，您需要使用選擇的頻率設置freq參數 - 不推薦使用使用pd.TimeGrouper()的類似方法，而使用帶有freq參數集的pd.Grouper() 。
這應該為您提供所需的 DataFrame：
df.groupby([pd.Grouper(level='State'),
pd.Grouper(level='City'),
pd.Grouper(level='Date', freq='2D')]
).sum()
pandas 文檔中的時間序列指南將resample()描述為：
...基於時間的 groupby，然后是對其每個組的歸約方法。
因此，從技術上講，使用groupby()應該與在具有單個索引的 DataFrame 上使用.resample()操作相同。
同一段指向關於重采樣的食譜部分以獲取更高級的示例，其中“ 使用 MultiIndex 進行分組”條目與此問題高度相關。 希望有幫助。
解決方案3
16 2013-04-04 14:16:04
使用堆棧/取消堆棧的替代方法
df.unstack(level=[0,1]).resample('2D', how='sum').stack(level=[2,1]).swaplevel(2,0)
value_a value_b
State City Date
Georgia Atlanta 2012-01-01 1 21
Alabama Mobile 2012-01-01 17 37
Montgomery 2012-01-01 25 45
Georgia Savanna 2012-01-01 9 29
Atlanta 2012-01-03 5 25
Alabama Mobile 2012-01-03 21 41
Montgomery 2012-01-03 29 49
Georgia Savanna 2012-01-03 13 33
筆記：
- 不知道性能比較
- 可能的熊貓錯誤 - stack(level=[2,1]) 工作，但 stack(level=[1,2]) 失敗
解決方案4
10 2014-06-07 14:44:14
這有效：
df.groupby(level=[0,1]).apply(lambda x: x.set_index('Date').resample('2D', how='sum'))
value_a value_b
State City Date
Alabama Mobile 2012-01-01 17 37
2012-01-03 21 41
Montgomery 2012-01-01 25 45
2012-01-03 29 49
Georgia Atlanta 2012-01-01 1 21
2012-01-03 5 25
Savanna 2012-01-01 9 29
2012-01-03 13 33
如果 Date 列是字符串，則預先轉換為 datetime：
df['Date'] = pd.to_datetime(df['Date'])
解決方案5
3 2017-05-22 18:53:41
我有同樣的問題，有一段時間讓我頭暈目眩，但后來我閱讀了0.19.2 docs中的.resample函數的文檔，我看到有一個名為“level”的新kwarg可以用來指定MultiIndex 中的級別。
編輯： “新增功能”部分中的更多詳細信息。
解決方案6
2 2015-11-20 19:38:50
我知道這個問題已經有幾年的歷史了，但我遇到了同樣的問題，並找到了一個需要 1 行的更簡單的解決方案：
>>> import pandas as pd
>>> ts = pd.read_pickle('time_series.pickle')
>>> ts
xxxxxx1 yyyyyyyyyyyyyyyyyyyyyy1 2012-07-01 1
2012-07-02 13
2012-07-03 1
2012-07-04 1
2012-07-05 10
2012-07-06 4
2012-07-07 47
2012-07-08 0
2012-07-09 3
2012-07-10 22
2012-07-11 3
2012-07-12 0
2012-07-13 22
2012-07-14 1
2012-07-15 2
2012-07-16 2
2012-07-17 8
2012-07-18 0
2012-07-19 1
2012-07-20 10
2012-07-21 0
2012-07-22 3
2012-07-23 0
2012-07-24 35
2012-07-25 6
2012-07-26 1
2012-07-27 0
2012-07-28 6
2012-07-29 23
2012-07-30 0
..
xxxxxxN yyyyyyyyyyyyyyyyyyyyyyN 2014-06-02 0
2014-06-03 1
2014-06-04 0
2014-06-05 0
2014-06-06 0
2014-06-07 0
2014-06-08 2
2014-06-09 0
2014-06-10 0
2014-06-11 0
2014-06-12 0
2014-06-13 0
2014-06-14 0
2014-06-15 0
2014-06-16 0
2014-06-17 0
2014-06-18 0
2014-06-19 0
2014-06-20 0
2014-06-21 0
2014-06-22 0
2014-06-23 0
2014-06-24 0
2014-06-25 4
2014-06-26 0
2014-06-27 1
2014-06-28 0
2014-06-29 0
2014-06-30 1
2014-07-01 0
dtype: int64
>>> ts.unstack().T.resample('W', how='sum').T.stack()
xxxxxx1 yyyyyyyyyyyyyyyyyyyyyy1 2012-06-25/2012-07-01 1
2012-07-02/2012-07-08 76
2012-07-09/2012-07-15 53
2012-07-16/2012-07-22 24
2012-07-23/2012-07-29 71
2012-07-30/2012-08-05 38
2012-08-06/2012-08-12 258
2012-08-13/2012-08-19 144
2012-08-20/2012-08-26 184
2012-08-27/2012-09-02 323
2012-09-03/2012-09-09 198
2012-09-10/2012-09-16 348
2012-09-17/2012-09-23 404
2012-09-24/2012-09-30 380
2012-10-01/2012-10-07 367
2012-10-08/2012-10-14 163
2012-10-15/2012-10-21 338
2012-10-22/2012-10-28 252
2012-10-29/2012-11-04 197
2012-11-05/2012-11-11 336
2012-11-12/2012-11-18 234
2012-11-19/2012-11-25 143
2012-11-26/2012-12-02 204
2012-12-03/2012-12-09 296
2012-12-10/2012-12-16 146
2012-12-17/2012-12-23 85
2012-12-24/2012-12-30 198
2012-12-31/2013-01-06 214
2013-01-07/2013-01-13 229
2013-01-14/2013-01-20 192
...
xxxxxxN yyyyyyyyyyyyyyyyyyyyyyN 2013-12-09/2013-12-15 3
2013-12-16/2013-12-22 0
2013-12-23/2013-12-29 0
2013-12-30/2014-01-05 1
2014-01-06/2014-01-12 3
2014-01-13/2014-01-19 6
2014-01-20/2014-01-26 11
2014-01-27/2014-02-02 0
2014-02-03/2014-02-09 1
2014-02-10/2014-02-16 4
2014-02-17/2014-02-23 3
2014-02-24/2014-03-02 1
2014-03-03/2014-03-09 4
2014-03-10/2014-03-16 0
2014-03-17/2014-03-23 0
2014-03-24/2014-03-30 9
2014-03-31/2014-04-06 1
2014-04-07/2014-04-13 1
2014-04-14/2014-04-20 1
2014-04-21/2014-04-27 2
2014-04-28/2014-05-04 8
2014-05-05/2014-05-11 7
2014-05-12/2014-05-18 5
2014-05-19/2014-05-25 2
2014-05-26/2014-06-01 8
2014-06-02/2014-06-08 3
2014-06-09/2014-06-15 0
2014-06-16/2014-06-22 0
2014-06-23/2014-06-29 5
2014-06-30/2014-07-06 1
dtype: int64
ts.unstack().T.resample('W', how='sum').T.stack()就是這樣！ 非常簡單，而且看起來非常高效。 我正在閱讀的泡菜是 331M，所以這是一個非常強大的數據結構； 在我的 MacBook Pro 上重新采樣只需幾秒鍾。
解決方案7
0 2017-07-14 14:32:11
我還沒有檢查過它的效率，但是我對多索引執行日期時間操作的本能方式是通過一種使用字典理解的手動“拆分-應用-組合”過程。
假設您的 DataFrame 未編制索引。 （您可以先執行.reset_index() ），其工作原理如下：
- 按非日期列分組
- 將“日期”設置為索引並對每個塊重新采樣
- 使用
pd.concat重新組裝
最終代碼如下所示：
pd.concat({g: x.set_index("Date").resample("2D").mean()
for g, x in house.groupby(["State", "City"])})
解決方案8
0 2021-04-25 00:34:57
我自己試過這個，很短也很簡單（我只會使用 2 個索引，你會得到完整的想法）：
第 1 步：重新采樣日期，但這會給你沒有其他索引的日期：
new=df.reset_index('City').groupby('crime', group_keys=False).resample('2d').sum().pad()
這會給你日期和它的計數
第 2 步：以與日期相同的順序獲取分類索引：
col=df.reset_index('City').groupby('City', group_keys=False).resample('2D').pad()[['City']]
這將為您提供一個包含城市名稱且與日期順序相同的新列。
第 3 步：將數據框合並在一起
new_df=pd.concat([new, col], axis=1)
這很簡單，你可以讓它變得更短。
在MultiIndex Pandas DataFrame的兩個級別中的日期上重新采樣
[英]Resampling over dates in both levels of a MultiIndex Pandas DataFrame
用pandas.MultiIndex重采樣：Resampler.aggregate（）和Resampler [column]
[英]Resampling with pandas.MultiIndex: Resampler.aggregate() & Resampler[column]
Pandas - 基於 MultiIndex 的條件重采樣 DataFrame 基於 boolean 列
[英]Pandas - Conditional resampling on MultiIndex based DataFrame based on a boolean column
Pandas multiindex dataframe - 從multiindex中的一個索引中選擇max
[英]Pandas multiindex dataframe - Selecting max from one index within multiindex
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
相關問題
在 Pandas MultiIndex 中重新采樣會丟失值
重新采樣pandas MultiIndex數據幀
重采樣（上采樣）Pandas多索引數據框
MultiIndex的重采樣
在MultiIndex Pandas DataFrame的兩個級別中的日期上重新采樣
用pandas.MultiIndex重采樣：Resampler.aggregate（）和Resampler [column]
Pandas - 基於 MultiIndex 的條件重采樣 DataFrame 基於 boolean 列
Pandas multiindex dataframe - 從multiindex中的一個索引中選擇max
在熊貓中重新采樣
時間序列多索引 dataframe 的重采樣
相關標簽