從SQL Server實時將數據流式傳輸到Azure Datawarehouse

Question

我正在嘗試在Microsoft Azure數據倉庫之上構建實時報告服務。 目前，我有一台具有約5 TB數據的SQL Server。 我想將數據流傳輸到數據倉庫，並使用Azure DW的計算能力來基於數據生成實時報告。 是否有准備使用/最佳實踐來做到這一點？

我正在考慮的一種方法是將數據加載到Kafka，然后通過Spark流將其流傳輸到Azure DW。 但是，這種方法比實時更接近實時。 有什么方法可以利用SQL Server Change Data Capture將數據流式傳輸到數據倉庫中嗎？

Answer 1

我個人沒有在實時體系結構中看到Azure SQL數據倉庫。 這是一個批處理MPP系統，經過優化，可在多個節點上分解數十億行。 在我的拙見中，這種模式不是亞秒級或實時性能的同義詞。 實時體系結構看起來更像Azure中的事件中心>流分析。 可用的低並發性（即當前最多32個並發用戶）也不適合報告。

作為替代方案，您可以考慮使用Azure SQL數據庫內存表進行快速加載，然后在方便的時候移交給倉庫。

您可以在具有批處理和實時元素的所謂Lambda體系結構中使用Azure SQL數據倉庫，其中支持批處理流。 請參閱此處以進一步閱讀：

https://social.technet.microsoft.com/wiki/contents/articles/33626.lambda-architecture-implementation-using-microsoft-azure.aspx

Answer 2

如果您正在尋找基於SQL的SaaS解決方案來支持實時報表應用程序，那么我們最近發布了一個名為Stride的HTTP API產品，該產品基於我們構建的開源流SQL數據庫PipelineDB ，可以處理這種類型的工作量。

Stride API使開發人員可以對流數據運行連續的SQL查詢，並將連續查詢的結果存儲在表中，這些表將在新數據到達時進行增量更新。 這可能是添加您上面提到的實時分析層類型的更簡單方法。

隨時查看Stride技術文檔以獲取更多詳細信息。