我们可以从 Databricks Autoloader 中排除或仅包含特定的文件扩展名吗？

Question

现在，databricks 自动加载器需要一个目录路径，从中加载所有文件。 但是，如果其他类型的日志文件也开始进入该目录 - 有没有办法在准备数据帧时要求 Autoloader 排除这些文件？

df = spark.readStream.format("cloudFiles") \
  .option(<cloudFiles-option>, <option-value>) \
  .schema(<schema>) \
  .load(<input-path>)

Answer 1

Autoloader 支持将 glob 字符串指定为<input-path> - 来自文档：

<input-path>可以包含文件 glob 模式

Glob 语法支持不同的选项，例如， *代表任何字符等。因此您可以将input-path指定为，例如path/*.json 。 您也可以排除文件，但与包含模式相比，构建该模式可能稍微复杂一些，但它仍然是可能的 - 例如， *.[^l][^o][^g]应该排除带有.log文件扩大

Answer 2

使用pathGlobFilter作为选项之一并提供正则表达式来过滤具有特定名称的文件类型或文件。

举例来说，跳过与文件名作为A1.csv，A2.csv .... A9.csv从负载位置上的文件，该值pathGlobFilter的样子：

df = spark.read.load("/file/load/location,
                     format="csv", 
                     schema=schema, 
                     pathGlobFilter="A[0-9].csv")