大于内存的二进制数据文件的交互式 plot

Question

我有大于内存的统一（定期网格化）2d 二进制数据，我正在尝试使用 Dask、Datashader 和 Holoviews 的任意组合以交互方式 plot。 我愿意使用其他基于 python 的工具，但现在是 inte.net 引导我使用这些工具。

数据文件约为 11 GB，由一个 (600000, 4800) float32 数组组成。

我想要 plot 它们以不同的纵横比（1000x1000 像素），并有一个回调处理缩放/平移上的数据加载/着色。 我服务于浏览器而不是使用笔记本。

在 1000x1000px 数据着色器 canvas 中，我绘制了：

• 4800x4800 点（填满画布）
• 600000x4800 点（仅填充 canvas 底部的几个像素，因为彩色像素的纵横比为 600000/4800）

两者都不是互动的。

我到目前为止使用 python3.10 的是：

import numpy as np
import datashader as ds
from datashader import transfer_functions as tf
import xarray as xr
import holoviews as hv
import panel as pn
hv.extension('bokeh', logo=False)
hv.output(backend="bokeh")

filename = 'path/to/binary/datafile'

arr = np.memmap(filename, shape=(4800,600000), offset=0, dtype=np.dtype("f4"), mode='r')

arr = xr.DataArray(arr, dims=("x", "y"), coords={'x': np.arange(4800), "y": np.arange(600000)})
cvs = ds.Canvas(plot_width=1000, plot_height=1000, x_range=(0, 4800), y_range=(0, 4800))
# the following line works too but does not fill the canvas
# cvs = ds.Canvas(plot_width=1000, plot_height=1000, x_range=(0, 4800), y_range=(0, 600000))
agg = cvs.raster(arr)
sh = tf.shade(agg)
pn.Row(sh).show()

任何建议表示赞赏！

Answer 1

我不确定这里的问题到底是什么，但是解决这个问题的 HoloViz 方法是使用不带.persist()或.compute()的 dask。 np.memmap 方法也可能有效。

然后，您将使用 https ://examples.pyviz.org/census/census.html中所述的全息视图，或 https ://hvplot.holoviz.org 中所述的 hvplot 。 如果没有实际数据或它的合成版本，很难比这更具体。

顺便说一句，我认为你在上面的 x_range 和 y_range 中切换了 x 和 y，因为 4800,600000 的 Numpy 形状对应于 0,4800 的 y_range 和 0,600000 的 x_range（因为 NumPy 形状是行，列和行在 y 上，列在 x 上）。