如何使用 dbt 將鑲木地板文件從 Azure Data Lake Gen2/Azure Blob 存儲加載到專用池？

Question

我正在使用 dbt-synapse： https://github.com/dbt-msft/dbt-synapse我想將我的鑲木地板文件從 Azure Data Lake Gen2/Azure Blob Storage 加載到 Azure Synapse 中的專用池。 我試着用

{{ config(materialized='table') }}
with my_table as (
    SELECT
        TOP 100 *
    FROM
        OPENROWSET(
            BULK 'myparquetfile_url',
            FORMAT = 'PARQUET'
        ) AS [result]
)

select * from my_table

但沒有運氣。

它顯示此錯誤

('42000', "[42000] [Microsoft][ODBC Driver 17 for SQL Server][SQL Server]Parse error at line: 7, column: 9: Incorrect syntax near 'OPENROWSET'. (103010) (SQLExecDirectW)")

那么，如何使用 dbt 將 parquets 文件從 blob 存儲加載到專用池？

Answer 1

遺憾的是，Azure Synapse Analytics 不支持OPENROWSET 。

有一個 GitHub 存儲庫，您可以使用它使用 dbt 加載外部表。 您可以將其用作替代方案。

https://github.com/dbt-labs/dbt-external-tables

支持的數據庫：

• 紅移（光譜）
• 雪花
• 大查詢
• 火花
• 突觸
• Azure SQL