为什么polars被称为最快的数据框库，dask与cudf不是更强大吗？

Question

大多数基准测试都隔离了 dask 和 cuDF，但我可以将它们一起使用。 使用 cuDF 的 Dask 不会比极地更快吗？

此外，Polars 仅在数据适合内存时运行，但 dask 并非如此。 那么为什么有https://h2oai.github.io/db-benchmark/ dask 的内存不足指示？

Answer 1

不同的数据框库有其优点和缺点。 例如，请参阅此博客文章以比较不同的库，尤其是。 从缩放pandas的角度来看。

Dask Dataframe 带有一些关于如何最好地将工作负载分配给多个任务的默认假设。 如果这些假设对特定用例无效，那么与内存相关的错误并不少见。