Output 多個元組同時在 apache 光束管道中

Question

我想知道是否有任何方法可以同時使用 output 多個元組，以便它可以同時啟動所有 4 個元組步驟。 目前在我的批處理管道中，一旦 firsttuple 輸出其完成的第一個元組操作。 但我需要同時 output 所有元組，以便它可以同時啟動所有元組下一個進程。 我有一份清單來自我正在做 output 的地方，如下所示：

    for (int i = 0; i < listlinedto.size(); i++){
      if(i==0) {
        LOG.info("Size of first tuple:{}", listlinedto.get(i).size());
        accountingDTO
                .setFeedStatus(feedStatusDTO)
                .addAllLineStatuses(listlinedto.get(i))
                .build();
        c.output(firsttuple,accountingDTO.build());
      }else if(i==1){
        LOG.info("Size of second tuple:{}", listlinedto.get(i).size());
        accountingDTO
                .setFeedStatus(feedStatusDTO)
                .addAllLineStatuses(listlinedto.get(i))
                .build();
        c.output(firsttuple,accountingDTO.build());

      }else if(i==2){
        LOG.info("Size of third tuple:{}", listlinedto.get(i).size());
        accountingDTO
                .setFeedStatus(feedStatusDTO)
                .addAllLineStatuses(listlinedto.get(i))
                .build();
        c.output(thirdtuple,accountingDTO.build());
      }else if(i==3){
        LOG.info("Size of forth tuple:{}", listofArray.get(i).length);
        accountingDTO
                .setFeedStatus(feedStatusDTO)
                .addAllLineStatuses(listlinedto.get(i))
                .build();
        c.output(forthtuple,accountingDTO.build());

      }

Answer 1

無法控制在 Beam 批處理管道中執行下游步驟的確切時間。

不過，在您的情況下，這也可能取決於管道的結構。 每個 else 情況（我假設在DoFn ）是否會針對不同的輸入元素調用？ 如果是這樣，您是否可以重組您的管道，以便為相同的輸入元素調用所有案例？