繁体   English   中英

Apache Beam/Dataflow ReShuffle 已弃用,用什么代替?

[英]Apache Beam/Dataflow ReShuffle deprecated, what to use instead?

Apache Beam 的Reshuffle2017 年 5 月被标记为已弃用并附有说明

仅限内部使用; 没有向后兼容性保证。

此外,DataflowRunner 安装了一个ReshuffleOverrideFactory ,我不清楚它是如何改变重新洗牌的。

无论如何,JavaDoc 没有提到要使用什么。 用户应该如何处理一般情况下和 Dataflow 上高扇出的 ParDo 转换?

您可以查看GroupByKeyCombine操作中的withFanout选项。 这是 Java API 的链接 - https://beam.apache.org/releases/javadoc/2.0.0/org/apache/beam/sdk/transforms/Combine.Globally.html#withFanout-int-

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM