flink 运行超过 12 小时导致机器 CPU 负载增加的原因

Question

我有一个 flink 作业，并行度设置为 6，很少进行简单的转换，问题是当 Flink 运行超过 12 小时时，例如机器上的负载开始增加，然后我认为这是因为流量在一天中的几个小时进入 flink，但问题是当流量下降时，机器上的负载继续高一点，比以前低但仍然更高。

用例：

DataStream<Event> from_source = rabbitConsumer
                .flatMap(new RabbitMQConsumer())
                .assignTimestampsAndWatermarks(new PeriodicExtractor());
SingleOutputStreamOperator<Event> data_stream = from_source 
                    .filter(new NullidsFilterFunction())
KeyedStream<String, Event> keyed_stream = data_stream.keyby(k->k.id);

/*one stateful operator*/
data_stream.map(new EventCount(x))
            .keyBy(k -> new Date(k.timestamp.getTime()).toString())
            .window(TumblingEventTimeWindows.of(Time.ninutes(30)))
            .process(new MyProcessWindowFunction())
            .addSink(new SinkFuncion());

/*two stateful operator*/
keyed_stream.window(TumblingEventTimeWindows.of(Time.ninutes(10)))
            .process(new MyProcessWindowFunction())
            .addSink(new SinkFuncion());

/*three*/
keyed_stream.filter(new FilterFunction())
            .map(new AvailabilityCheckClass())
            .addSink(new SinkFuncion());

/*four*/
product_view_keyed_stream = data_stream
            .filter(new FilterFunction())
            .map(new EventProdView(x))
            .keyBy(k -> k.id+ new Date(k.timestamp.getTime()));
  product_view_keyed_stream.addSink(new SinkFuncion());

/*five stateful operator*/
product_view_keyed_stream.window(TumblingEventTimeWindows.of(Time.ninutes(30)))
          .process(new MyProcessWindowFunction())
          .addSink(new SinkFuncion());

/*Six stateful operator with 4 ConcurrentHashMap into the state*/
keyed_stream.flatmap(new FlatMapFunction())
            .addSink(new SinkFuncion());

/*seven stateful operator*/
keyed_stream.window(TumblingEventTimeWindows.of(Time.ninutes(10)))
            .process(new MyProcessWindowFunction())
            .addSink(new SinkFuncion());

/*eight stateful operator*/
data_stream.filter(new FilterFunction())
           .keyBy(k -> k.rType.equals("ClickIdent") ? k.avidat : k.email_sha2)
           .flatmap(new FlatMapFunction())
           .addSink(new SinkFuncion());

我的问题：例如，当我的 flink 作业运行超过 6 小时时，CPU 使用率高的原因可能是什么。

见解：堆 Memory 看起来很好（没有 OOM），检查点都完成了，没有丢失事件，JVM CPU 消耗看起来也很好，CMS GC 年轻代计数器总是增加（这让我担心，尽管这应该是正常的，因为它是一个计数器，但是增长太快），这个作业作为一个简单的 java 应用程序运行（本地执行不是作为安装了 flink 的集群，只是 java -jar flink.Z68995FCBF432492D15484D04A9D2AC，如果有什么要共享的信息，请不要知道）

一小时示例

非常感谢！

Answer 1

Since you are using a heap-based state backend (the FSStateBackend keeps its working state on the JVM heap), and the state TTL is configured to 1 (or 3) days, it's to be expected that the state size will grow. 它会增长多少是非常特定于应用程序的； 这取决于您的密钥空间如何随着时间的推移而增长。

你能把 603MB 的检查点大小放在某些上下文中吗？ 即，对于每个不同的键，state 是多少？ 听起来你很惊讶，但不清楚为什么。

检查点变慢的原因有很多，但通常这表明在到达远程文件系统时存在背压或某种资源争用——即 S3 速率限制。 如果你在 Flink WebUI 中查看 checkpointing 统计信息，你可以在那里寻找线索。 查看检查点屏障是否需要很长时间才能遍历执行图，或者检查点的异步部分是否需要很长时间才能将检查点写入远程磁盘。 并寻找不对称性——一个实例比其他实例花费更长的时间并且拥有更多的 state？

如果您在用户 function 中执行任何阻塞 i/o，则可能会导致麻烦。 或者您可能有严重的数据偏差（例如，热键）。 或者任务管理器和分布式文件系统之间的慢速网络。 或者集群可能配置不足——您可能需要增加并行度。

您可能需要增加检查点超时。 如果在某些时候检查点持续时间确实有问题，您可以切换到使用 RocksDB state 后端，以便能够使用增量检查点（但这是否有帮助取决于发生了什么）。 或者您可以更改 state TTL 配置以更快地清除 state。