需要建議：利用柱狀數據庫

Question

我正在從事一個高性能儀表板項目，該項目的結果大多是混合在一起的，而未匯總的則是數據。 第一頁由8個不同的復雜查詢加載，獲取混合數據。 儀表板由集中式數據庫（Oracle 11g）提供服務，該數據庫正在實時（使用復制工具）從許多系統接收數據。 其中示出的數據通過非常復雜的查詢實現（多個join ， count ， group by許多where的條件）。

問題在於，隨着數據的增加，數據庫查詢所花費的時間超過了定義/協商的時間。 我正在考慮將聚合功能移至說HBase （所有計數）的Columnar數據庫中，其余的線性數據將從Oracle中獲取。 這兩個數據將基於App層上的鍵進行合並。 如果這是正確的方法，需要專家的意見。

有幾件事我不清楚：
1. Sqoop是否能夠基於查詢/視圖或僅基於表加載數據？ 連續還是一次？
2.如果修改了一條記錄（例如，狀態已更改），那么HBase將如何了解？

Answer 1

我的兩分錢。 HBase是NoSQL數據庫構建，用於快速查找查詢，而不是進行聚合的即席查詢。

如果您打算使用hadoop集群，則可以嘗試使用帶有智能拼花存儲的蜂巢。 如果您需要近乎實時的查詢，則可以使用MPP數據庫。 商業選項是Vertica或Amazon的Redshift。 對於開源解決方案，可以使用InfoBrigth。

這些列式選項將為您提供出色的綜合查詢性能。