Azure Synapse Dedicated SQL Pool 中物理存储的数据在哪里？

Question

Microsoft 和其他公司的文档在 Azure Synapse Analytics 中强烈强调了存储和计算之间的分离。 在无服务器 SQL 池的情况下，明确说明数据存储在Azure Data Lake DSL Gen2中。 但是，在Dedicated SQL Pool的情况下，文档在数据存储方面不够明确。 在一本涉及 Azure Synapse 的书中，指出在Dedicated SQL Pool的情况下，数据存储在与计算节点完全分开的存储节点中。 由于这种说法不在微软的文档中，我不敢相信。

那么，是否有官方资源可以阐明这个问题？

Answer 1

这也是我想了很久的问题。 但是，我得出的结论是数据实际上存储在专用 SQL 池中。

让我解释一下为什么我相信这一点。

看看这里给出的文档，
https://docs.microsoft.com/en-us/azure/synapse-analytics/quickstart-copy-activity-load-sql-pool

请注意，它是关于将数据加载到专用 SQL 池中。 此外，引用部分文档，

专用 SQL 池提供基于 T-SQL 的计算和存储功能。 在 Synapse 工作区中创建专用 SQL 池后，可以加载、建模、处理和交付数据，以获得更快的分析洞察力。

据说专用 SQL 池同时提供计算和存储功能。

此外，使用专用 SQL 池，您可能已经知道可以创建传统表。 我们可以按照星形或雪花模式将这些表组织成某种东西，以对我们的数据仓库进行建模。

但是，无服务器 SQL 池无法创建此类表。 只允许创建元数据对象，即视图或外部表。 这在这里解释，
https://docs.microsoft.com/en-us/azure/synapse-analytics/sql/on-demand-workspace-overview

引用文章的相关段落，

Serverless SQL 池没有本地存储，只有元数据对象存储在数据库中。 因此，不支持与以下概念相关的 T-SQL：

表 触发器 物化视图 DDL 语句，而不是与视图和安全 DML 语句相关的语句

对我来说，实际上可以在专用 SQL 池中创建表这一事实进一步证明了数据是物理存储在其中的。

我的最后一个论点是围绕分布的想法。 这里解释了这个概念，
https://docs.microsoft.com/en-us/azure/synapse-analytics/sql-data-warehouse/massively-parallel-processing-mpp-architecture

这讨论了如何在计算节点之间分配数据，以及如何在这些节点的分布上并行执行查询。 如果数据没有实际存储在这些节点中，则不可能实现这一点。

以我的拙见，我认为 Azure 存储是如何出现的（至少，当涉及到专用 SQL 池时）是关于将数据作为文件存储在数据湖中，然后将它们摄取到池中进行分析。

可以在这里找到解释，
https://docs.microsoft.com/en-us/azure/synapse-analytics/sql/overview-architecture

还有一句话，

无服务器 SQL 池允许您查询数据湖文件，而专用 SQL 池允许您从数据湖文件中查询和摄取数据。 当数据被摄取到专用的 SQL 池中时，数据被分片到分布中以优化系统的性能。

这就是 Polybase 发挥作用的地方。 您可以使用 Polybase 定义各种数据加载模式（到专用 SQL 池中），如下所述，
https://docs.microsoft.com/en-us/azure/synapse-analytics/sql/load-data-overview

Answer 2

有关在 Azure Synapse Analytics 中使用专用 SQL 池设计表的 Microsoft 文档，位于https://learn.microsoft.com/en-us/azure/synapse-analytics/sql-data-warehouse/sql-data-warehouse-tables -overview ，声明如下：

表持久化：表将数据永久存储在 Azure 存储中，临时存储在 Azure 存储中，或者存储在专用 SQL 池外部的数据存储中。

常规表 常规表将数据存储在 Azure 存储作为专用 SQL 池的一部分...