[英]How to use ParseJsons in Apache Beam / Google Dataflow?
[英]Apache Beam/Dataflow ReShuffle deprecated, what to use instead?
Apache Beam 的Reshuffle於2017 年 5 月被標記為已棄用,並附有說明
僅限內部使用; 沒有向后兼容性保證。
此外,DataflowRunner 安裝了一個ReshuffleOverrideFactory
,我不清楚它是如何改變重新洗牌的。
無論如何,JavaDoc 沒有提到要使用什么。 用戶應該如何處理一般情況下和 Dataflow 上高扇出的 ParDo 轉換?
您可以查看GroupByKey
和Combine
操作中的withFanout
選項。 這是 Java API 的鏈接 - https://beam.apache.org/releases/javadoc/2.0.0/org/apache/beam/sdk/transforms/Combine.Globally.html#withFanout-int-
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.