如何使用 plotly 為 dask 數據框繪制交互式圖

Question

我有一個有 30 個分區的 Dask 數據框，（每個分區）有 1 億個原始數據。 整個 dask 數據幀中的原始數據總數為 4 億原始數據。 我想使用 plotly 將所有 Daskframe 繪制在一個圖中。 我將如何實現這一目標？ 最終結果是數據的整體圖，如果我想探索數據的特定區域，我可以放大和平移。 我的數據大小約為 3.5 GB，它們不會存儲在內存中。

Answer 1

3.5GB是一個相當小的大小，所以應該適合內存。 如果沒有，有一些策略：

1. 通過僅選擇感興趣的列、加載到內存並使用標准庫繪制數據來減少數據：

from dask.dataframe import read_parquet

df = read_parquet(path_to_file, columns=specific_cols).compute()

2. 數據着色器 - https://plotly.com/python/datashader/