在 Azure 数据工厂中将数据从一个文件夹复制到另一个文件夹时出错

Question

此查询曾经在 Azure 数据工厂管道中工作，但几天前停止工作。 Azure Blob 存储中的文件名/格式等没有任何变化。 在此行中出现错误：

SELECT * FROM OPENROWSET ( 
  BULK 
'/filepath.csv@snapshot=*', FORMAT = 'CSV' 
) 

错误 says.csv@snapshot=* 有 URL 后缀，这是不允许的。 完整代码：

-- CREATE OR REPLACE VIEW clean.barriers AS 
IF EXISTS (SELECT * FROM sys.tables t 
    JOIN sys.schemas s ON (t.schema_id = s.schema_id) 
    WHERE s.name = 'clean' AND t.name = 'barriers') 
EXEC('DROP EXTERNAL TABLE [clean].[barriers]')  

CREATE EXTERNAL TABLE [clean].[barriers]
WITH 
( 
   LOCATION = 'clean/synapse/barriers',
   DATA_SOURCE = "", 
   FILE_FORMAT = [SynapseParquetFormat] 
) 
AS  

SELECT * FROM OPENROWSET ( 
  BULK 
'/filepath.csv@snapshot=*', FORMAT = 'CSV' 
) 
WITH( 
-- Schema adjusted to what we have in clean/barriers in Bigquery 
mshp_id INT, 
prog_name NVARCHAR(256), 
barrier_name NVARCHAR(256), 
days INT 
) AS load_clean_data

Answer 1

根据Official Documentation ，您还应该有一个源文件的数据源，您还试图从中复制数据。

因此，尝试为源 CSV 文件创建数据源并检查，它可能有效。

此外，当您使用 ADF 执行上述脚本时，首先尝试在没有 ADF 的情况下执行它，如果出现错误，则问题可能出在脚本上，而不是 ADF 上。 如果没有尝试更改 ADF 的活动并检查。

您也可以在 BULK 路径中尝试此故障排除。 正如你想要 csv 文件夹中的数据一样，给出如下路径并检查。

/folder/*.csv