Pandas，如何根據多個列的組合創建一個唯一的ID？

Question

我有一個非常大的數據集，看起來像

df = pd.DataFrame({'B': ['john smith', 'john doe', 'adam smith', 'john doe', np.nan], 'C': ['indiana jones', 'duck mc duck', 'batman','duck mc duck',np.nan]})

df
Out[173]: 
            B              C
0  john smith  indiana jones
1    john doe   duck mc duck
2  adam smith         batman
3    john doe   duck mc duck
4         NaN            NaN

我需要創建一個 ID 變量，它對於每個 BC 組合都是唯一的。 也就是說，output應該是

            B              C   ID
0  john smith  indiana jones   1
1    john doe   duck mc duck   2
2  adam smith         batman   3
3    john doe   duck mc duck   2 
4         NaN            NaN   0

我實際上不關心索引是否從零開始，以及缺失列的值是 0 還是任何其他數字。 我只是想要一些快速的東西，不需要很多 memory 並且可以快速排序。 我用：

df['combined_id']=(df.B+df.C).rank(method='dense')

但是 output 是float64並且需要很多 memory。我們可以做得更好嗎？ 謝謝！

Answer 1

我認為你可以使用factorize ：

df['combined_id'] = pd.factorize(df.B+df.C)[0]
print df
            B              C  combined_id
0  john smith  indiana jones            0
1    john doe   duck mc duck            1
2  adam smith         batman            2
3    john doe   duck mc duck            1
4         NaN            NaN           -1

Answer 2

使 jezrael 的答案更籠統一些（如果列不是字符串怎么辦？），您可以使用此緊湊函數：

def make_identifier(df):
    str_id = df.apply(lambda x: '_'.join(map(str, x)), axis=1)
    return pd.factorize(str_id)[0]

df['combined_id'] = make_identifier(df[['B','C']])

Answer 3

我有一個非常大的數據集，看起來像

df = pd.DataFrame({'B': ['john smith', 'john doe', 'adam smith', 'john doe', np.nan], 'C': ['indiana jones', 'duck mc duck', 'batman','duck mc duck',np.nan]})

df
Out[173]: 
            B              C
0  john smith  indiana jones
1    john doe   duck mc duck
2  adam smith         batman
3    john doe   duck mc duck
4         NaN            NaN

我需要創建一個ID變量，該變量對於每個BC組合都是唯一的。 也就是說，輸出應為

            B              C   ID
0  john smith  indiana jones   1
1    john doe   duck mc duck   2
2  adam smith         batman   3
3    john doe   duck mc duck   2 
4         NaN            NaN   0

我實際上並不在乎索引是否從零開始，以及缺失列的值是0還是任何其他數字。 我只想要快速的東西，不需要太多的內存並且可以快速排序。 我用：

df['combined_id']=(df.B+df.C).rank(method='dense')

但輸出為float64並占用大量內存。 我們可以做得更好嗎？ 謝謝！

Answer 4

jezrael 的回答很棒。 但是因為這是針對多列的，所以我更喜歡使用.ngroup()因為這樣 NaN 可以保持為 NaN。

df['combined_id'] = df.groupby(['B', 'C'], sort = False).ngroup()
df