使用Azure Data Lake進行分析

Question

目前，作為我們要求的一部分，我們正在使用以下Azure組件

• Azure事件中心

• Azure流分析

• Azure表存儲

• Azure Sql DB

基本上，通過前3個組件，我們將構建分析和報告平台。

目前，我們剛剛開始分析Azure表存儲中的數據並將其顯示在分析儀表板中。

最近我們遇到了一個新的Azure產品Azure Data Lake 。 在微軟網站上做一些研究，我們可以看到我們可以輕松地將數據從Azure表存儲（借助Azure數據工廠）遷移到Azure Lake Store。 使用Azure Data Lake和Azure Data Factory創建大數據管道

在我們瀏覽上述鏈接時，我們需要創建一個Azure Data Lake Analytics管道來處理數據。

所以不清楚的是分析輸出數據將保存在哪里。 我們是否需要將分析輸出保存到某些數據庫？ 或者我們可以通過Http請求進行實時分析嗎？

我們在Azure表存儲中有大量記錄，這些記錄將被移動到Azure Data Lake。 對於這種情況，這是一個不錯的選擇，還是我們可以從Azure Table Storage本身獲得基於分析的解決方案。

請分享你的想法

Answer 1

您可以將分析輸出數據存儲在Azure Data Lake Store（一個數據存儲庫，使您能夠以原始格式存儲所有類型的數據，而無需定義模式。）通過Azure Data lake Analytics（一種分析服務使您能夠在數據集上運行作業而不必考慮集群。）

正如您所說的“我們在Azure表存儲中有大量記錄將被移動到Azure Data Lake。”，我認為對Azure數據湖存儲上的數據執行分析效率更高，因為它提供無限存儲並立即讀取/寫入對它的訪問權限並擴展工作負載所需的吞吐量。 它還為大數據集提供低延遲的小寫入。 所以我認為這是Azure Table存儲的更好選擇。