更有效地顯示非常大的數據集

Question

我有一個邏輯分析器項目，它記錄了數億個16位值（約100-500百萬），並且隨着用戶縮放，需要顯示從幾百個樣本到整個捕獲的任何內容。

縮小時，整個系統會從文件中加載大量塊，因此性能會受到極大影響。

我只是在今天早上說，以用戶的屏幕分辨率“大步走”文件會更有效。 無論如何，您實際上無法在像素之間顯示任何內容。 但是，這不能解決內存中大量文件的問題。

我可以拿走巨大的數據集並對其進行高效流傳輸嗎？

我一直在考慮從頭到尾的流媒體+按水平分辨率查看大小。 這雖然使變焦非常不穩定。

程序使用python，但我願意在c中調用某些東西（如果已經存在）。

Answer 1

好吧，我不知道這是否真的是關於編程或設計的問題。

對於vizualization的“縮放”問題，我建議：

1. 具有某些縮放級別的預先計算/緩存版本。 理想情況下，應基於用戶行為來計算等級。
2. 當用戶放大時，您同時
   • 計算“適當的”數據或加載更深的縮放層的預先計算的聚合數據，並通過視框進行裁剪
   • 通過渲染來自上一層的低分辨率數據來作弊或通過某種近似對其進行平滑處理（但請確保以某種方式告知用戶數​​據尚未完成）

除此之外，請考慮是否可以優化存儲數據的方式。 無論是部分磁盤讀取/搜索還是存儲聚合數據，樹木都可以使您的生活更輕松。

Answer 2

我認為，除非它們形成某種圖像/形狀，否則即使顯示幾百個樣本也沒有意義。 我猜如果結構正確（有色），可以看一百個數字。 幾百個-懷疑-在這里您用一些可視化（圖表，圖表，地圖等）替換了實際數據。

要解決該問題，您可以定義一些規則以完全停止顯示實際數據。 例如，如果數字高度小於10個像素，則您顯示某種消息selected numbers are from rows 200...300, columns 400..500或一些帶有角坐標和數量的圖形替換。