需要實時分析方法

Question

我的團隊希望向用戶（商店所有者）提供儀表板，其中包含特定於他們的 kpi，例如在他們的商店中放置的訂單、取消的總訂單、總銷售額、完成的交付。 等等。這個儀表板應該幾乎實時更新（比如延遲 15 分鍾）。 它將與下訂單的核心應用程序集成。

我們正在評估的一種方法是將所有需要的表復制到一個倉庫，比如說一個用於分析的數據庫、連接表、將粒度保持在事務級別並將這個龐大的表保存到同一個倉庫。 所有這些步驟應在 15 分鍾內完成。 然后儀表板將在這個龐大的表上計算 kpi。 我認為這不是最有效的方法。

我的傾向是不存儲表，直接讓儀表板查詢實時表。 根據當前的 session，用戶級別的過濾器將自動消除大部分記錄。 所以它會足夠快。

像 Spark 流 + Kafka 這樣的流工具可能無濟於事，因為我必須聽許多表進行更新然后聚合。

關於什么可能是最好的方法的任何建議？ 請幫忙

Answer 1

對您的生產事務系統進行分析通常是一個壞主意（以及為什么我們有單獨的倉庫系統），因為

1. 它會影響事務流程的性能
2. 有效支持 OLTP 的數據結構往往與有效支持 OLAP 的數據結構大不相同

由於您只會將增量加載到倉庫中並針對它們計算 KPI，而不是整個數據集，因此您不應該遇到性能問題。 這是一個很常見的模式

但是正如大衛所說，這實際上只是意見，因為您沒有提供足夠的信息並且提出了一個非常廣泛的問題