panda的多索引的好處？
[英]Benefits of panda's multiindex?
問題描述
所以我了解到我可以使用 DataFrame.groupby 而不需要 MultiIndex 來進行子采樣/橫截面。
另一方面，當我在 DataFrame 上有一個 MultiIndex 時，我仍然需要使用 DataFrame.groupby 來進行子采樣/橫截面。
那么除了打印時層次結構的非常有用和漂亮的顯示之外，MultiIndex 還有什么好處呢？
4 個解決方案
解決方案1
68 已采納 2012-11-05 05:22:05
pandas 0.4 版本中引入了分層索引（也稱為“多級”索引）。
這為一些非常復雜的數據分析和操作打開了大門，尤其是在處理高維數據時。 例如，本質上，它使您能夠有效地存儲和操作二維表格結構 (DataFrame) 中的任意高維數據。
想象一下使用MultiIndex構建一個數據MultiIndex如下所示：-
import pandas as pd
import numpy as np
np.arrays = [['one','one','one','two','two','two'],[1,2,3,1,2,3]]
df = pd.DataFrame(np.random.randn(6,2),index=pd.MultiIndex.from_tuples(list(zip(*np.arrays))),columns=['A','B'])
df # This is the dataframe we have generated
A B
one 1 -0.732470 -0.313871
2 -0.031109 -2.068794
3 1.520652 0.471764
two 1 -0.101713 -1.204458
2 0.958008 -0.455419
3 -0.191702 -0.915983
這個df只是一個二維的數據結構
df.ndim
2
但我們可以把它想象成一個 3 維數據結構，看看輸出。
-
one有1的數據-0.732470 -0.313871。 -
one有2數據-0.031109 -2.068794。 -
one有3數據1.520652 0.471764。
又名：“在二維表格結構中有效地存儲和操作任意高維數據”
這不僅僅是一個“漂亮的展示”。 它具有易於檢索數據的好處，因為我們現在有一個分層索引。
例如。
In [44]: df.ix["one"]
Out[44]:
A B
1 -0.732470 -0.313871
2 -0.031109 -2.068794
3 1.520652 0.471764
將為我們提供一個新的數據框，僅用於屬於“一個”的數據組。
我們可以通過這樣做進一步縮小我們的數據選擇范圍：-
In [45]: df.ix["one"].ix[1]
Out[45]:
A -0.732470
B -0.313871
Name: 1
當然，如果我們想要一個特定的值，這里有一個例子：-
In [46]: df.ix["one"].ix[1]["A"]
Out[46]: -0.73247029752040727
因此，如果我們有更多索引（除了上面示例中顯示的 2 個索引），我們基本上可以向下鑽取並選擇我們真正感興趣的數據集，而無需groupby 。
我們甚至可以從我們的數據框中獲取橫截面（行或列）...
按行：-
In [47]: df.xs('one')
Out[47]:
A B
1 -0.732470 -0.313871
2 -0.031109 -2.068794
3 1.520652 0.471764
按列：-
In [48]: df.xs('B', axis=1)
Out[48]:
one 1 -0.313871
2 -2.068794
3 0.471764
two 1 -1.204458
2 -0.455419
3 -0.915983
Name: B
解決方案2
14 2018-08-09 21:13:42
@Calvin Cheng 的好帖子，但我想我也會嘗試一下。
何時使用 MultiIndex：
- 當單個列的值不足以唯一標識一行時。
- 當數據在邏輯上是分層的——這意味着它有多個維度或“級別”。
為什么（你的核心問題）——至少這些是 IMO 的最大好處：
- 通過 stack() 和 unstack() 輕松操作
- 有多個列級別時的簡單數學運算
- 用於切片/過濾的語法糖
例子：
Dollars Units
Date Store Category Subcategory UPC EAN
2018-07-10 Store 1 Alcohol Liqour 80480280024 154.77 7
Store 2 Alcohol Liqour 80480280024 82.08 4
Store 3 Alcohol Liqour 80480280024 259.38 9
Store 1 Alcohol Liquor 80432400630 477.68 14
674545000001 139.68 4
Store 2 Alcohol Liquor 80432400630 203.88 6
674545000001 377.13 13
Store 3 Alcohol Liquor 80432400630 239.19 7
674545000001 432.32 14
Store 1 Beer Ales 94922755711 65.17 7
702770082018 174.44 14
736920111112 50.70 5
Store 2 Beer Ales 94922755711 129.60 12
702770082018 107.40 10
736920111112 59.65 5
Store 3 Beer Ales 94922755711 154.00 14
702770082018 137.40 10
736920111112 107.88 12
Store 1 Beer Lagers 702770081011 156.24 12
Store 2 Beer Lagers 702770081011 137.06 11
Store 3 Beer Lagers 702770081011 119.52 8
1) 如果我們想輕松地比較不同商店的銷售額，我們可以使用df.unstack('Store')將所有內容並排排列：
Dollars Units
Store Store 1 Store 2 Store 3 Store 1 Store 2 Store 3
Date Category Subcategory UPC EAN
2018-07-10 Alcohol Liqour 80480280024 154.77 82.08 259.38 7 4 9
Liquor 80432400630 477.68 203.88 239.19 14 6 7
674545000001 139.68 377.13 432.32 4 13 14
Beer Ales 94922755711 65.17 129.60 154.00 7 12 14
702770082018 174.44 107.40 137.40 14 10 10
736920111112 50.70 59.65 107.88 5 5 12
Lagers 702770081011 156.24 137.06 119.52 12 11 8
2）我們還可以輕松地對多列進行數學運算。 例如， df['Dollars'] / df['Units']然后將每個商店的美元除以其單位，對於每個沒有多次操作的商店：
Store Store 1 Store 2 Store 3
Date Category Subcategory UPC EAN
2018-07-10 Alcohol Liqour 80480280024 22.11 20.52 28.82
Liquor 80432400630 34.12 33.98 34.17
674545000001 34.92 29.01 30.88
Beer Ales 94922755711 9.31 10.80 11.00
702770082018 12.46 10.74 13.74
736920111112 10.14 11.93 8.99
Lagers 702770081011 13.02 12.46 14.94
3）如果我們想過濾到特定的行，而不是使用
df[(df[col1] == val1) and (df[col2] == val2) and (df[col3] == val3)]
格式，我們可以改為 .xs 或 .query （是的，這些適用於常規 dfs，但不是很有用）。 語法改為：
df.xs((val1, val2, val3), level=(col1, col2, col3))
更多示例可以在我整理的本教程筆記本中找到。
解決方案3
2 2020-11-23 17:18:33
使用多索引的替代方法是使用數據幀的多列存儲數據。 人們會期望多索引能夠比原始列存儲提供性能提升，但從 Pandas v 1.1.4 開始，情況似乎並非如此。
時明
import numpy as np
import pandas as pd
np.random.seed(2020)
inv = pd.DataFrame({
'store_id': np.random.choice(10000, size=10**7),
'product_id': np.random.choice(1000, size=10**7),
'stock': np.random.choice(100, size=10**7),
})
# Create a DataFrame with a multiindex
inv_multi = inv.groupby(['store_id', 'product_id'])[['stock']].agg('sum')
print(inv_multi)
stock
store_id product_id
0 2 48
4 18
5 58
7 149
8 158
... ...
9999 992 132
995 121
996 105
998 99
999 16
[6321869 rows x 1 columns]
# Create a DataFrame without a multiindex
inv_cols = inv_multi.reset_index()
print(inv_cols)
store_id product_id stock
0 0 2 48
1 0 4 18
2 0 5 58
3 0 7 149
4 0 8 158
... ... ... ...
6321864 9999 992 132
6321865 9999 995 121
6321866 9999 996 105
6321867 9999 998 99
6321868 9999 999 16
[6321869 rows x 3 columns]
%%timeit
inv_multi.xs(key=100, level='store_id')
10 loops, best of 3: 20.2 ms per loop
%%timeit
inv_cols.loc[inv_cols.store_id == 100]
The slowest run took 8.79 times longer than the fastest. This could mean that an intermediate result is being cached.
100 loops, best of 3: 11.5 ms per loop
%%timeit
inv_multi.xs(key=100, level='product_id')
100 loops, best of 3: 9.08 ms per loop
%%timeit
inv_cols.loc[inv_cols.product_id == 100]
100 loops, best of 3: 12.2 ms per loop
%%timeit
inv_multi.xs(key=(100, 100), level=('store_id', 'product_id'))
10 loops, best of 3: 29.8 ms per loop
%%timeit
inv_cols.loc[(inv_cols.store_id == 100) & (inv_cols.product_id == 100)]
10 loops, best of 3: 28.8 ms per loop
結論
使用 MultiIndex 的好處在於語法糖、自記錄數據以及@ZaxR 的回答中提到的 unstack unstack()等函數的小便利； 性能不是好處，這似乎是一個真正錯失的機會。
解決方案4
0 2022-07-28 18:52:06
根據對此答案的評論，該實驗似乎存在缺陷。 這是我對正確實驗的嘗試。
計時
import pandas as pd
import numpy as np
from timeit import timeit
random_data = np.random.randn(16, 4)
multiindex_lists = [["A", "B", "C", "D"], [1, 2, 3, 4]]
multiindex = pd.MultiIndex.from_product(multiindex_lists)
dfm = pd.DataFrame(random_data, multiindex)
df = dfm.reset_index()
print("dfm:\n", dfm, "\n")
print("df\n", df, "\n")
dfm_selection = dfm.loc[("B", 4), 3]
print("dfm_selection:", dfm_selection, type(dfm_selection))
df_selection = df[(df["level_0"] == "B") & (df["level_1"] == 4)][3].iat[0]
print("df_selection: ", df_selection, type(df_selection), "\n")
print("dfm_selection timeit:",
timeit(lambda: dfm.loc[("B", 4), 3], number=int(1e6)))
print("df_selection timeit: ",
timeit(
lambda: df[(df["level_0"] == "B") & (df["level_1"] == 4)][3].iat[0],
number=int(1e6)))
dfm:
0 1 2 3
A 1 -1.055128 -0.845019 -2.853027 0.521738
2 0.397804 0.385045 -0.121294 -0.696215
3 -0.551836 -0.666953 -0.956578 1.929732
4 -0.154780 1.778150 0.183104 -0.013989
B 1 -0.315476 0.564419 0.492496 -1.052432
2 -0.695300 0.085265 0.701724 -0.974168
3 -0.879915 -0.206499 1.597701 1.294885
4 0.653261 0.279641 -0.800613 1.050241
C 1 1.004199 -1.377520 -0.672913 1.491793
2 -0.453452 0.367264 -0.002362 0.411193
3 2.271958 0.240864 -0.923934 -0.572957
4 0.737893 -0.523488 0.485497 -2.371977
D 1 1.133661 -0.584973 -0.713320 -0.656315
2 -1.173231 -0.490667 0.634677 1.711015
3 -0.050371 -0.175644 0.124797 0.703672
4 1.349595 0.122202 -1.498178 0.013391
df
level_0 level_1 0 1 2 3
0 A 1 -1.055128 -0.845019 -2.853027 0.521738
1 A 2 0.397804 0.385045 -0.121294 -0.696215
2 A 3 -0.551836 -0.666953 -0.956578 1.929732
3 A 4 -0.154780 1.778150 0.183104 -0.013989
4 B 1 -0.315476 0.564419 0.492496 -1.052432
5 B 2 -0.695300 0.085265 0.701724 -0.974168
6 B 3 -0.879915 -0.206499 1.597701 1.294885
7 B 4 0.653261 0.279641 -0.800613 1.050241
8 C 1 1.004199 -1.377520 -0.672913 1.491793
9 C 2 -0.453452 0.367264 -0.002362 0.411193
10 C 3 2.271958 0.240864 -0.923934 -0.572957
11 C 4 0.737893 -0.523488 0.485497 -2.371977
12 D 1 1.133661 -0.584973 -0.713320 -0.656315
13 D 2 -1.173231 -0.490667 0.634677 1.711015
14 D 3 -0.050371 -0.175644 0.124797 0.703672
15 D 4 1.349595 0.122202 -1.498178 0.013391
dfm_selection: 1.0502406808918188 <class 'numpy.float64'>
df_selection: 1.0502406808918188 <class 'numpy.float64'>
dfm_selection timeit: 63.92458086000079
df_selection timeit: 450.4555013199997
結論
MultiIndex 單值檢索比傳統的 dataframe 單值檢索快 7 倍以上。
MultiIndex 檢索的語法更加簡潔。
如何向 Datetime Multiindex Panda Dataframe 添加一行
[英]how to add a row to a Datetime Multiindex Panda Dataframe
為 x 和 y 坐標和時間戳的熊貓數據幀創建多索引
[英]Creating multiindex for panda dataframe for x and y coordinate and timestamp
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.