hvplot 需要几个小时来渲染图像

Question

我正在处理来自数据发布 3 的 Gaia 天体测量数据，并且由于非常快的渲染时间和交互性，将 hvplot/datashader 视为可视化大数据的首选。 在我看到的每个示例中，在慢速端从数亿个数据点渲染图像需要几秒钟。 但是，当我尝试为我的数据使用相同的代码时，渲染任何图像都需要数小时。

对于上下文，我在一个非常大的研究计算机集群上运行此代码，该集群具有数百 GB 的 RAM、一百个左右的内核和 TB 的存储空间供我使用，计算能力在这里应该不是问题。 此外，我已经将我需要的数据转换为一系列镶木地板文件，这些文件正在被读入带有 glob 的 dask dataframe。 我的代码如下：

...

import dask.dataframe as dd
import hvplot.dask
import glob

df=dd.read_parquet(glob.glob(r'myfiles/*'),engine='fastparquet')
df=df.astype('float32')
df=df[['col1','col2']]
df.hvplot.scatter(x='col1',y='col2',rasterize=True,cmap=cc.fire)

...

有没有人知道这里可能是什么问题？ 任何帮助，将不胜感激

编辑：通过将数据转换为数量较少的 memory 文件（3386 -> 175），我现在的渲染时间低于一个小时

Answer 1

无法访问数据很难进行调试，但您可以实施的一种快速优化是避免加载所有数据和 select 感兴趣的特定列：

df=dd.read_parquet(glob.glob(r'myfiles/*'), engine='fastparquet', columns=['col1','col2'])

除非至关重要，否则我也会避免.astype 。 它不应该成为瓶颈，但如果 memory 不是约束，则此float32的收益可能无关紧要。