簡體   English   中英

Apache Beam/Dataflow ReShuffle 已棄用,用什么代替?

[英]Apache Beam/Dataflow ReShuffle deprecated, what to use instead?

Apache Beam 的Reshuffle2017 年 5 月被標記為已棄用並附有說明

僅限內部使用; 沒有向后兼容性保證。

此外,DataflowRunner 安裝了一個ReshuffleOverrideFactory ,我不清楚它是如何改變重新洗牌的。

無論如何,JavaDoc 沒有提到要使用什么。 用戶應該如何處理一般情況下和 Dataflow 上高扇出的 ParDo 轉換?

您可以查看GroupByKeyCombine操作中的withFanout選項。 這是 Java API 的鏈接 - https://beam.apache.org/releases/javadoc/2.0.0/org/apache/beam/sdk/transforms/Combine.Globally.html#withFanout-int-

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM