使用 Blob 存储作为数据源对 SQL On-Demand 中的数据进行分区

Question

在 Amazon Redshift 中，有一种方法可以在将 S3 存储桶用作数据源时创建分区键。 关联。

我正在尝试使用 SQL On-Demand 服务在 Azure Synapse 中执行类似的操作。

目前我有一个分区的存储帐户，以便它遵循以下方案：

-Sales (folder)
  - 2020-10-01 (folder)
    - File 1
    - File 2
  - 2020-10-02 (folder)
    - File 3
    - File 4

要创建视图并拉入所有 4 个文件，我运行了以下命令：

CREATE VIEW testview3 AS SELECT * FROM OPENROWSET ( BULK 'Sales/*/*.csv', FORMAT = 'CSV', PARSER_VERSION = '2.0', DATA_SOURCE = 'AzureBlob', FIELDTERMINATOR = ',', FIRSTROW = 2 ) AS tv1;

如果我运行SELECT * FROM [myview]查询，我会收到来自所有 4 个文件的数据。

如何创建分区键以便我可以运行查询，例如

SELECT * FROM [myview] WHERE folderdate > 2020-10-01

以便我只能分析文件 3 和 4 中的数据？

我知道我可以编辑我的 OPENROWSET BULK 语句，但我希望能够首先从我的容器中获取所有数据，然后根据需要限制搜索。

Answer 1

无服务器 SQL 可以使用文件名（您希望加载一个或多个特定文件的位置）和文件路径（您希望加载该路径中的所有文件的位置）解析分区文件夹结构。 有关语法和用法的更多信息，请参见在线文档。

在您的情况下，您可以使用文件路径语法（例如 filepath(1) > '2020-10-01'）解析“2020-10-01”及以后的所有文件

Answer 2

为了扩展来自 Raunak 的答案，我最终为我的查询使用了以下语法。

DROP VIEW IF EXISTS testview6
GO

CREATE VIEW testview6 AS
SELECT *,
    r.filepath(1) AS [date]
FROM OPENROWSET (
        BULK 'Sales/*/*.csv',
        FORMAT = 'CSV', PARSER_VERSION = '2.0',
        DATA_SOURCE = 'AzureBlob',
        FIELDTERMINATOR = ',',
        FIRSTROW = 2
        ) AS [r]
WHERE r.filepath(1) IN ('2020-10-02');

您可以通过添加额外的通配符 (*) 和 r.filepath(x) 语句来调整分区的粒度。

例如，您可以创建查询，例如：

DROP VIEW IF EXISTS testview6
GO

CREATE VIEW testview6 AS
SELECT *,
    r.filepath(1) AS [year],
    r.filepath(2) as [month]
FROM OPENROWSET (
        BULK 'Sales/*-*-01/*.csv',
        FORMAT = 'CSV', PARSER_VERSION = '2.0',
        DATA_SOURCE = 'AzureBlob',
        FIELDTERMINATOR = ',',
        FIRSTROW = 2
        ) AS [r]
WHERE r.filepath(1) IN ('2020')
AND r.filepath(2) IN ('10');