在 pandas dataframe 中計算不同值的最有效方法是什么？

Question

我有一個 dataframe 如下圖所示。

    0   1   2
0   A   B   C
1   B   C   B
2   B   D   E
3   C   E   E
4   B   F   A

我需要從整個 dataframe 中獲取唯一值的計數，而不是按列的唯一值。 在上面的 dataframe 中，唯一值是 A，B，C，D，E，F。所以，我需要的結果是6 。

我正在使用 pandas 擠壓、拉維爾和獨特功能來實現這一點，它將整個 dataframe 轉換為一個系列。

pd.Series(df.squeeze().values.ravel()).nunique(dropna=True)

請讓我知道是否有更好的方法來實現這一點。

Answer 1

為此使用NumPy ，如：

import numpy as np
print(np.unique(df.values).shape[0])

Answer 2

使用具有唯一值length的numpy.unique ：

out = len(np.unique(df))
6

Answer 3

你也可以使用set 、 len和flatten ：

len(set(df.values.flatten()))

出去：

6

---

時序：使用具有 6 個唯一值的虛擬 dataframe

#dummy data
df = pd.DataFrame({'Day':np.random.choice(['aa','bbbb','c','ddddd','EeeeE','xxx'], 10**6),'Heloo':np.random.choice(['aa','bbbb','c','ddddd','EeeeE','xxx'], 10**6)})


print(df.shape)
(1000000, 2)


%timeit len(set(df.values.flatten()))

>>>89.5 ms ± 1.56 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)


%timeit np.unique(df.values).shape[0]

>>>1.61 s ± 25.6 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)


%timeit len(np.unique(df))

>>>1.85 s ± 229 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)