使用带有 Azure Databricks 的 COPY INTO 处理 abfss 中的空间

Question

我正在尝试使用 Databricks 中的COPY INTO语句从云存储中提取 CSV 个文件。

问题是文件夹名称中有一个空格/AP Posted/并且当我尝试引用代码执行的路径时会引发以下错误：

SQL 语句中的错误：URISyntaxException：索引 70 处路径中的非法字符：abfss://gpdi-files@hgbsprodgbsflastorage01.dfs.core.windows.net/RAW/AP Posted/

我用谷歌搜索错误并找到建议用“%20”替换空格的文章。 此解决方案无效。

那么，有人知道如何解决吗？ 或者唯一的解决方案确实是防止命名文件夹中出现空格。

这是我当前的 Databricks SQL 代码：

COPY INTO prod_gbs_gpdi.bronze_data.my_table
FROM 'abfss://gpdi-files@hgbsprodgbsflastorage01.dfs.core.windows.net/RAW/AP Posted/'
FILEFORMAT = CSV
VALIDATE 500 ROWS
PATTERN = 'AP_SAPEX_KPI_001 - Posted Invoices in 2021_3.CSV'
FORMAT_OPTIONS(
    'header'='true', 
    'delimiter'=';', 
    'skipRows'='8', 
    'mergeSchema'='true',  --Whether to infer the schema across multiple files and to merge the schema of each file
    'encoding'='UTF-8', 
    'enforceSchema'='true',  --Whether to forcibly apply the specified or inferred schema to the CSV files
    'ignoreLeadingWhiteSpace'='true',
    'ignoreTrailingWhiteSpace'='true',
    'mode'='PERMISSIVE'  --Parser mode around handling malformed records
)
COPY_OPTIONS (
    'force' = 'true',  --If set to true, idempotency is disabled and files are loaded regardless of whether they’ve been loaded before.
    'mergeSchema'= 'true'  --If set to true, the schema can be evolved according to the incoming data.
)

Answer 1

尝试使用其中一个文件夹有空间的路径，给出了同样的错误。

• 为了克服这个问题，您可以在PATTERN参数中指定文件夹，如下所示：

%sql
COPY INTO table1
FROM '/mnt/repro/op/'
FILEFORMAT = csv
PATTERN='has space/sample1.csv'
FORMAT_OPTIONS ('mergeSchema' = 'true','header'='true')
COPY_OPTIONS ('mergeSchema' = 'true');

• 或者，将路径指定为path/has?space/也可以。 但如果有多个文件夹，如has space, hasAspace, hasBspace等，那么这将无法按预期工作。

%sql
COPY INTO table2
FROM '/mnt/repro/op/has?space/'
FILEFORMAT = csv
PATTERN='sample1.csv'
FORMAT_OPTIONS ('mergeSchema' = 'true','header'='true')
COPY_OPTIONS ('mergeSchema' = 'true');

• 另一种方法是使用dbutils.fs.cp()将文件复制到 dbfs，然后使用 dbfs 路径来使用COPY INTO 。

dbutils.fs.cp('/mnt/repro/op/has space/sample1.csv','/FileStore/tables/mycsv.csv')

%sql
COPY INTO table3
FROM '/FileStore/tables/'
FILEFORMAT = csv
PATTERN='mycsv.csv'
FORMAT_OPTIONS ('mergeSchema' = 'true','header'='true')
COPY_OPTIONS ('mergeSchema' = 'true');