处理输入文件模式时如何在 apache 光束中的 DoFn 中获取文件名

Question

我正在处理一个目录中的大量文件。 我想在已处理数据 output 的元数据中添加文件名。 因此，如果在处理过程中出现问题，我们可以检查处理记录的输入文件是什么。

有没有办法我可以在我的 DoFn 中获取文件名。 我用的是apache梁2.19.0版

输入文件位置 - gs://bucket/extracted-files/*

Answer 1

为此，您可以使用FileIO class中可用的转换。

特别是您可以使用FileIO.match()后跟FileIO.readMatches() ，这会导致ReadableFile对象的PCollection 。 对于每个ReadableFile ，您都可以访问一个字节通道进行读取，以及一个包含文件名称的Metadata object。