使用Azure Data Lake进行分析

Question

目前，作为我们要求的一部分，我们正在使用以下Azure组件

• Azure事件中心

• Azure流分析

• Azure表存储

• Azure Sql DB

基本上，通过前3个组件，我们将构建分析和报告平台。

目前，我们刚刚开始分析Azure表存储中的数据并将其显示在分析仪表板中。

最近我们遇到了一个新的Azure产品Azure Data Lake 。 在微软网站上做一些研究，我们可以看到我们可以轻松地将数据从Azure表存储（借助Azure数据工厂）迁移到Azure Lake Store。 使用Azure Data Lake和Azure Data Factory创建大数据管道

在我们浏览上述链接时，我们需要创建一个Azure Data Lake Analytics管道来处理数据。

所以不清楚的是分析输出数据将保存在哪里。 我们是否需要将分析输出保存到某些数据库？ 或者我们可以通过Http请求进行实时分析吗？

我们在Azure表存储中有大量记录，这些记录将被移动到Azure Data Lake。 对于这种情况，这是一个不错的选择，还是我们可以从Azure Table Storage本身获得基于分析的解决方案。

请分享你的想法

Answer 1

您可以将分析输出数据存储在Azure Data Lake Store（一个数据存储库，使您能够以原始格式存储所有类型的数据，而无需定义模式。）通过Azure Data lake Analytics（一种分析服务使您能够在数据集上运行作业而不必考虑集群。）

正如您所说的“我们在Azure表存储中有大量记录将被移动到Azure Data Lake。”，我认为对Azure数据湖存储上的数据执行分析效率更高，因为它提供无限存储并立即读取/写入对它的访问权限并扩展工作负载所需的吞吐量。 它还为大数据集提供低延迟的小写入。 所以我认为这是Azure Table存储的更好选择。