在数组中有效地找到DataFrame值的索引

Question

我有一个类似于的DataFrame ：

x     y     z
--------------
0     A     10
0     D     13
1     X     20
...

我有两个排序数组，分别用于x和y每个可能值：

x_values = [0, 1, ...]
y_values = ['a', ..., 'A', ..., 'D', ..., 'X', ...]

所以我写了一个函数：

def lookup(record, lookup_list, lookup_attr):
    return np.searchsorted(lookup_list, getattr(record, lookup_attr))

然后致电：

df_x_indicies = df.apply(lambda r: lookup(r, x_values, 'x')
df_y_indicies = df.apply(lambda r: lookup(r, y_values, 'y')

# df_x_indicies: [0, 0, 1, ...]
# df_y_indicies: [26, ...]

但是还有其他更有效的方法吗？ 并可能一次获取多个列而不是一系列返回的DataFrame ？

我试过了：

np.where(np.in1d(x_values, df.x))[0]

但这会删除重复的值，这是不希望的。

Answer 1

您可以将索引数组转换为pd.Index对象以快速查找。

u, v = map(pd.Index, [x_values, y_values])
pd.DataFrame({'x': u.get_indexer(df.x), 'y': v.get_indexer(df.y)})

   x  y
0  0  1
1  0  2
2  1  3

哪里，

x_values
# [0, 1]

y_values
# ['a', 'A', 'D', 'X']

---

至于需要针对多列进行这项工作的要求，则必须迭代每一列。 这是上面代码的一个版本，应该概括为N个列和索引。

val_list = [x_values, y_values] # [x_values, y_values, z_values, ...]
idx_list = map(pd.Index, val_list)
pd.DataFrame({
    f'{c}': idx.get_indexer(df[c]) for idx, c in zip(idx_list, df)})

   x  y
0  0  1
1  0  2
2  1  3

Answer 2

使用Series与.loc更新，您也可以尝试使用reindex

pd.Series(range(len(x_values)),index=x_values).loc[df.x].tolist()
Out[33]: [0, 0, 1]