SQL 帶字符串字段的數據倉庫外部表

Question

我無法找到使用 Polybase 在 Azure SQL 數據倉庫（Synapse SQL 池）中創建外部表的方法，其中某些字段包含嵌入式逗號。

對於具有 4 列的 csv 文件，如下所示：

myresourcename, 
myresourcelocation, 
"""resourceVersion"": ""windows"",""deployedBy"": ""john"",""project_name"": ""test_project""",
"{  ""ResourceType"": ""Network"",  ""programName"": ""v1""}" 

嘗試使用以下創建外部表語句。

CREATE EXTERNAL FILE FORMAT my_format
WITH (  
    FORMAT_TYPE = DELIMITEDTEXT,
    FORMAT_OPTIONS(
        FIELD_TERMINATOR=',',
        STRING_DELIMITER='"',
        First_Row = 2
    )    
); 

CREATE EXTERNAL TABLE my_external_table
(
resourceName VARCHAR,
resourceLocation    VARCHAR,
resourceTags    VARCHAR,
resourceDetails VARCHAR
)  
WITH (
    LOCATION = 'my/location/',
    DATA_SOURCE = my_source,  
    FILE_FORMAT = my_format
)

但是查詢這個表會報如下錯誤：

Failed to execute query. Error: HdfsBridge::recordReaderFillBuffer - Unexpected error encountered filling record reader buffer: HadoopExecutionException: Too many columns in the line.

任何幫助將不勝感激。

Answer 1

目前這在 polybase 中不受支持，需要相應地修改輸入數據才能使其正常工作。