将 Parquet 文件从 Azure 数据湖存储帐户复制到 Synapse 数据仓库表失败

Question

我使用 COPY INTO 语句将 ADLS Gen2 中的 csv 文件成功复制到 Synapse 表，并使用共享访问签名作为凭据。 However, when I try to copy snappy.parquet file in the same storage account (different container) into a table in the same data warehouse, got error: "Error occurred while accessing HDFS: Java exception raised on call to HdfsBridge_Connect. Java exception message ：找不到配置属性 mystorage.dfs.core.windows.net。”。 我的代码是：

CREATE EXTERNAL FILE FORMAT pqt  
WITH (  
    FORMAT_TYPE = PARQUET  
    ,DATA_COMPRESSION = 'org.apache.hadoop.io.compress.SnappyCodec'               
    );  
COPY INTO [dbo].table
FROM 'https://mystorage.dfs.core.windows.net/../*.parquet'
WITH
(
  FILE_FORMAT =pqt
  ,CREDENTIAL=(IDENTITY= 'Shared Access Signature', SECRET='sas token') )

你知道如何解决这个问题吗？

谢谢

Answer 1

您能否尝试在 URL 的位置而不是 dfs 中使用 blob，因为这似乎对我有用，即使我在加载 Parquet 文件时指的是 ADLS Gen 2，如下所示。