pandas 唯一值多列

Question

df = pd.DataFrame({'Col1': ['Bob', 'Joe', 'Bill', 'Mary', 'Joe'],
                   'Col2': ['Joe', 'Steve', 'Bob', 'Bob', 'Steve'],
                   'Col3': np.random.random(5)})

返回“Col1”和“Col2”的唯一值的最佳方法是什么？

所需的 output 是

'Bob', 'Joe', 'Bill', 'Mary', 'Steve'

Answer 1

pd.unique從輸入數組、DataFrame 列或索引返回唯一值。

此函數的輸入需要是一維的，因此需要組合多個列。 最簡單的方法是選擇您想要的列，然后在扁平化的 NumPy 數組中查看值。 整個操作如下所示：

>>> pd.unique(df[['Col1', 'Col2']].values.ravel('K'))
array(['Bob', 'Joe', 'Bill', 'Mary', 'Steve'], dtype=object)

請注意， ravel()是一個數組方法，它返回多維數組的視圖（如果可能）。 參數'K'告訴方法按照元素在內存中的存儲順序展平數組（pandas 通常以Fortran 連續順序存儲底層數組；列在行之前）。 這比使用該方法的默認“C”順序要快得多。

---

另一種方法是選擇列並將它們傳遞給np.unique ：

>>> np.unique(df[['Col1', 'Col2']].values)
array(['Bill', 'Bob', 'Joe', 'Mary', 'Steve'], dtype=object)

此處無需使用ravel() ，因為該方法處理多維數組。 即便如此，這可能比pd.unique慢，因為它使用基於排序的算法而不是哈希表來識別唯一值。

對於較大的 DataFrame 來說，速度的差異很顯着（尤其是在只有少數唯一值的情況下）：

>>> df1 = pd.concat([df]*100000, ignore_index=True) # DataFrame with 500000 rows
>>> %timeit np.unique(df1[['Col1', 'Col2']].values)
1 loop, best of 3: 1.12 s per loop

>>> %timeit pd.unique(df1[['Col1', 'Col2']].values.ravel('K'))
10 loops, best of 3: 38.9 ms per loop

>>> %timeit pd.unique(df1[['Col1', 'Col2']].values.ravel()) # ravel using C order
10 loops, best of 3: 49.9 ms per loop

Answer 2

我已經在它的列中設置了一個帶有幾個簡單字符串的DataFrame ：

>>> df
   a  b
0  a  g
1  b  h
2  d  a
3  e  e

您可以連接您感興趣的列並調用unique函數：

>>> pandas.concat([df['a'], df['b']]).unique()
array(['a', 'b', 'd', 'e', 'g', 'h'], dtype=object)

Answer 3

In [5]: set(df.Col1).union(set(df.Col2))
Out[5]: {'Bill', 'Bob', 'Joe', 'Mary', 'Steve'}

或者：

set(df.Col1) | set(df.Col2)

Answer 4

如果使用多列，則使用 numpy v1.13+ 的更新解決方案需要在np.unique 中指定軸，否則數組將被隱式展平。

import numpy as np

np.unique(df[['col1', 'col2']], axis=0)

此更改於 2016 年 11 月引入： https : //github.com/numpy/numpy/commit/1f764dbff7c496d6636dc0430f083ada9ff4e4be

Answer 5

這是另一種方式

import numpy as np
set(np.concatenate(df.values))

Answer 6

非pandas解決方案：使用 set()。

import pandas as pd
import numpy as np

df = pd.DataFrame({'Col1' : ['Bob', 'Joe', 'Bill', 'Mary', 'Joe'],
              'Col2' : ['Joe', 'Steve', 'Bob', 'Bob', 'Steve'],
               'Col3' : np.random.random(5)})

print df

print set(df.Col1.append(df.Col2).values)

輸出：

   Col1   Col2      Col3
0   Bob    Joe  0.201079
1   Joe  Steve  0.703279
2  Bill    Bob  0.722724
3  Mary    Bob  0.093912
4   Joe  Steve  0.766027
set(['Steve', 'Bob', 'Bill', 'Joe', 'Mary'])

Answer 7

對於我們這些熱愛熊貓、應用，當然還有 lambda 函數的人：

df['Col3'] = df[['Col1', 'Col2']].apply(lambda x: ''.join(x), axis=1)

Answer 8

list(set(df[['Col1', 'Col2']].as_matrix().reshape((1,-1)).tolist()[0]))

輸出將是 ['Mary', 'Joe', 'Steve', 'Bob', 'Bill']

Answer 9

在給定列名列表的情況下獲取唯一值列表：

cols = ['col1','col2','col3','col4']
unique_l = pd.concat([df[col] for col in cols]).unique()

Answer 10

import pandas as pd
df= pd.DataFrame({'col1':["a","a","b","c","c","d"],'col2': 
                ["x","x","y","y","z","w"],'col3':[1,2,2,3,4,2]})
df

output 是

  col1 col2 col3
0   a   x   1
1   a   x   2
2   b   y   2
3   c   y   3
4   c   z   4
5   d   w   2

從所有列中獲取唯一值

    a={}
    for i in range(df.shape[1]) :
        j=df.columns[i]
        a[j] = df.iloc[:,i].unique()

   for p,q in a.items():
       print( f"unique value in {p} are {list(q)} ")

輸出是

    unique value in col1 are ['a', 'b', 'c', 'd'] 
    unique value in col2 are ['x', 'y', 'z', 'w'] 
    unique value in col3 are [1, 2, 3, 4] 

Answer 11

np.unique(df.values.flatten())