Apache 中的分支和合并 pcollection 列表来自公共输入

Question

我正在构建一个数据流管道，但在分支和合并输出时遇到了一些麻烦。 我要构建的管道如下：

1. 读取一些输入数据input_data 。
2. A. 在input_data上提取一些指标metric_1 。 B. 在input_data上提取一些其他指标metric_2
3. 由于这些度量提取的计算成本很高，我想从主要的input_data分支出来，然后合并输出以进行进一步的计算。 合并输出output 。

这是一些封装我的实际管道的示例代码

class ReadData(beam.DoFn):
    def process(self, element):
        # read from source
        return [{'input': np.random.rand(100,10)}]


class GetFirstMetric(beam.DoFn):
    def process(self, element):
        # some processing
        return [{'first': np.random.rand(100,4)}]


class GetSecondMetric(beam.DoFn):
    def process(self, element):
        # some processing
        return [{'second': np.random.rand(100,3)}]


def run():
    with beam.Pipeline() as p:
        input_data = (p | 'read sample data' >> beam.ParDo(ReadData()))

        metric_1 = (input_data | 'some metric on input data' >> beam.ParDo(GetFirstMetric()))
        metric_2 = (input_data | 'some aggregate metric' >> beam.ParDo(GetSecondMetric()))

        output = ((metric_1, metric_2) 
                  | beam.Flatten()
                  | beam.combiners.ToList()
                  | beam.Map(print)
        )

当我运行它时，我得到一个'PBegin' object has no attribute 'windowing'错误。 我在 Java 中看到了一些示例和示例代码。 但是我在 Python 中找不到合适的资源来做同样的事情。 我的问题如下：

1. 分支和合并 pcollections 的正确方法是什么（特别是如果分支来自公共输入）？

2. 是否有更好的管道设计来完成同样的任务？

提前致谢！

Answer 1

在此代码中，您的问题是您没有“启动”初始 PCollection。 在ReadData.process - 变量element的值是什么？

好吧，跑步者想不出一个值，因为没有输入 pcollection。 您需要创建您的第一个 PCollection。 你会做类似下面的代码......

至于将它们列在列表中 - 也许侧面输入策略可能会起作用。 您可以尝试以下方法：

def run():
    with beam.Pipeline() as p:
        starter_pcoll = p | beam.Create(['any'])
        input_data = (starter_pcoll | 'read sample data' >> beam.ParDo(ReadData()))

        metric_1 = (input_data | 'some metric on input data' >> beam.ParDo(GetFirstMetric()))
        metric_2 = (input_data | 'some aggregate metric' >> beam.ParDo(GetSecondMetric()))

        side_in = beam.pvalue.AsList((metric_1, metric_2) 
                                     | beam.Flatten())

        p | beam.Create(['any']) | beam.Map(lambda x, si: print(si),
                                            side_in)

这应该使您的管道运行。 很高兴进一步澄清您的具体问题。