![](/img/trans.png)
[英]How to use ParseJsons in Apache Beam / Google Dataflow?
[英]Apache Beam/Dataflow ReShuffle deprecated, what to use instead?
Apache Beam 的Reshuffle于2017 年 5 月被标记为已弃用,并附有说明
仅限内部使用; 没有向后兼容性保证。
此外,DataflowRunner 安装了一个ReshuffleOverrideFactory
,我不清楚它是如何改变重新洗牌的。
无论如何,JavaDoc 没有提到要使用什么。 用户应该如何处理一般情况下和 Dataflow 上高扇出的 ParDo 转换?
您可以查看GroupByKey
和Combine
操作中的withFanout
选项。 这是 Java API 的链接 - https://beam.apache.org/releases/javadoc/2.0.0/org/apache/beam/sdk/transforms/Combine.Globally.html#withFanout-int-
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.