如果所有元素都在一组值中，则检查 pandas dataframe 中的列

Question

我们有一个 pandas DataFrame df和一组值set_vals 。

对于特定的列（假设'name' ），我现在想计算一个新列，只要df['name']的值在set_vals中，该列就为True ，否则为False 。

一种方法是写：

df['name'].apply(lambda x: x in set_vals)

但是当df和set_vals都变大时，这种方法非常慢。 有没有更有效的方法来创建这个新列？

Answer 1

真正的问题是df['name'].apply(lambda x: x in set_vals)的复杂度是 O(M*N) 其中 M 是df的长度，N 是set_vals的长度，如果set_vals是一个列表（或搜索复杂度为线性的另一种类型）。

如果set_vals进行哈希处理（变成dict类型），复杂度可以提高到O(M)，搜索复杂度将是O(1)。

Answer 2

我为您找到了解决方案，它称为 MapReduce。

你可以在这里阅读

总的来说就是一个在多节点上并行处理大数据的编程model。

有一个视频解释并显示了 MapReduce 的示例： MapReduce 视频

Answer 3

这是一个简单解决方案的复杂问题，您可以尝试使用此 for 循环运行多个线程：

假设[0:i], [i+1:j], [j+1,k]等。

Here is a very good explanation关于如何做多线程

此外，如果您对有关性能和效率的更多详细信息感兴趣，请查看此内容。