Spark Streaming 接收器仅处理一条记录

Question

我在 Spark Streaming 2.2.1 作业中有 16 个接收器。 一段时间后，一些接收器处理的记录越来越少，最终每秒只处理一个记录。 可以在屏幕截图中观察到该行为：

虽然我知道根本原因可能很难找到并且不明显，但有没有办法进一步调试这个问题？ 目前我不知道从哪里开始挖掘。 会不会跟背压有关？

火花流属性：

spark.app.id    application_1599135282140_1222
spark.cores.max 64
spark.driver.cores  4
spark.driver.extraJavaOptions -XX:+PrintFlagsFinal -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/dump/ -Dlog4j.configuration=file:///tmp/4f892127ad794245aef295c97ccbc5c9/driver_log4j.properties
spark.driver.maxResultSize  3840m
spark.driver.memory 4g
spark.driver.port   36201
spark.dynamicAllocation.enabled false
spark.dynamicAllocation.maxExecutors    10000
spark.dynamicAllocation.minExecutors    1
spark.eventLog.enabled  false
spark.executor.cores    4
spark.executor.extraJavaOptions -XX:+PrintFlagsFinal -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/dump/
spark.executor.id   driver
spark.executor.instances    16
spark.executor.memory   4g
spark.jars  file:/tmp/4f892127ad794245aef295c97ccbc5c9/main-e41d1cc.jar
spark.master    yarn
spark.rpc.message.maxSize   512
spark.scheduler.maxRegisteredResourcesWaitingTime   300s
spark.scheduler.minRegisteredResourcesRatio 1.0
spark.scheduler.mode    FAIR
spark.shuffle.service.enabled   true
spark.sql.cbo.enabled   true
spark.streaming.backpressure.enabled    true
spark.streaming.backpressure.initialRate    25
spark.streaming.backpressure.pid.minRate    1
spark.streaming.concurrentJobs  1
spark.streaming.receiver.maxRate    100
spark.submit.deployMode client

Answer 1

似乎问题在运行 30 分钟后开始显现。 我认为背压可能是一个原因。 根据这篇文章：

在激活背压的情况下，驱动程序会监控当前的批处理延迟和处理时间，并动态调整接收器的最大速率。 可以在接收器日志中验证新速率限制的通信：

2016-12-06 08:27:02,572 INFO org.apache.spark.streaming.receiver.ReceiverSupervisorImpl 收到新的速率限制：51。

以下是我建议您尝试的方法：

1. 检查接收器日志以查看是否触发了反压。
2. 检查你的 stream sink 是否有错误。
3. 检查 YARN 资源管理器的资源利用率。
4. 调整 Spark 参数以查看是否有所不同。