熊猫性能：在一列中有多个dtype还是分成不同的dtype？

Question

我有很多与我合作的熊猫DataFrame。 20毫米行30列 这些行包含大量数据，每行都有一个使用某些列的“类型”。 因此，我目前已将DataFrame设计为具有一些列，这些列混合了dtype以用于该行的“类型”。

我的问题是，从性能角度来看，我应该将混合的dtype列拆分为两个单独的列还是将它们保持为一体？ 我遇到了使其中一些DataFrame甚至保存（to_pickle）并试图尽可能高效的问题。

列可以是当前构造的float / str，float / int，float / int / str的混合。

Answer 1

在我看来，这可能取决于您的后续用例。 但是恕我直言，我会让每个列都成为唯一的类型，否则诸如汇总功能之类的函数以及其他常见的Pandas函数将根本无法工作。