使用Apache Beam和ParquetIO读取多个Parquet文件

Question

我需要在Apache Beam中读取多个实木复合地板文件，所有文件都放在同一文件夹中。 我尝试使用通配符*读取它。

我设法使用ParquetIO读取了分离的实木复合地板文件，这是我读取一个实木复合地板文件的代码段：

pipeline.apply(ParquetIO.read(SCHEMA).from(filePath + File.separator + "*"));

其中filePath是例如/path/xxx.parquet。

我曾尝试读取多个实木复合地板文件的代码片段是

pipeline.apply(ParquetIO.read(SCHEMA).from(folderPath + File.separator + "*.parquet" + File.separator + "*"));

文件夹路径是例如/ path / to / parquet / files /

我也尝试了没有最后一部分File.separator +“ *”，但是结果相同。 我得到的信息是：

FileIO：654-匹配0个文件，用于模式/path/to/parquet/files/*.parquet/

另外，我可以有各种数量和名称的镶木地板文件。

我找到了读取多个txt文件的方法，是否可以使用Apache Beam读取多个实木复合地板文件？

Answer 1

是的，由于ParquetIO使用FileIO ，因此可以读取多个ParquetIO文件。 只需尝试使用其他匹配模式即可。 在您的情况下，可能是这样的（我希望folderPath是“ / path / to”）：

pipeline.apply(ParquetIO.read(SCHEMA).from(folderPath + File.separator + "parquet" + File.separator + "*" + File.separator + "*"));

或最后只是双星：

pipeline.apply(ParquetIO.read(SCHEMA).from(folderPath + File.separator + "parquet" + File.separator + "**");

您不能使用. 作为全局模式的一部分，因为它可以是文件路径的合法部分。 使用? 匹配单个目录中的任何单个字符或*匹配任何字符串。 另外，“ **”模式匹配任何字符串，并跨越目录边界。