[英]Spark Streaming tuning number of records per batch size not working?
我的 Spark 流應用程序正在使用 DStream 方法從 kafka 讀取數據,並且我試圖讓批處理大小在 10 秒內處理 60,000 條消息。
我所做的,
spark.streaming.kafka.maxRatePerPartition = 60000
spark.streaming.backpressure.enabled = true
現在我如何測試這是否有效。
我有一個生產者,一次向該主題發送 60,000 條消息。 當我檢查 spark UI 時,我得到以下信息:
batch time | Input size | processing time
10:54:30 | 17610 | 5s
10:54:20 | 32790 | 8s
10:54:10 | 9600 | 3s
所以每批時間間隔10秒。 我期望的是 1 批 60,000 條記錄。 還有其他一些我沒有設置的參數嗎? 從我讀到的關於我目前設置的內容來看,我應該在一個批次中獲得 10 * 60,000 * 3 = 1800000。
spark.app.id = application_1551747423133_0677
spark.app.name = KafkaCallDEV
spark.driver.cores = 2
spark.driver.extraJavaOptions = -XX:+UseG1GC -XX:ConcGCThreads=2
-XX:InitiatingHeapOccupancyPercent=35 -Dlog4j.configuration=log4j.properties -verbose:gc
spark.driver.memory = 3g
spark.driver.port = 33917
spark.executor.cores = 2
spark.executor.extraJavaOptions = -XX:+UseG1GC -XX:ConcGCThreads=2
-XX:InitiatingHeapOccupancyPercent=35 -Dlog4j.configuration=log4j.properties -verbose:gc
spark.executor.id = driver
spark.executor.instances = 2
spark.executor.memory = 2g
spark.master = yarn
spark.scheduler.mode = FIFO
spark.streaming.backpressure.enabled = true
spark.streaming.kafka.maxRatePerPartition = 60000
spark.submit.deployMode = cluster
spark.ui.filters = org.apache.hadoop.yarn.server.webproxy.amfilter.AmIpFilter
spark.ui.port = 0
spark.yarn.app.container.log.dir = /data0/yarn/container-logs/application_1551747423133_0677/container_1551747423133_0677_01_000002
下面是我打印出來的使用
logger.info(sparkSession.sparkContext.getConf.getAll.mkString("\n"))
我刪除了一些不必要的日志,如服務器地址、應用程序名稱等。
(spark.executor.extraJavaOptions,-XX:+UseG1GC -XX:ConcGCThreads=2
-XX:InitiatingHeapOccupancyPercent=35 -Dlog4j.configuration=log4j.properties -verbose:gc) (spark.yarn.app.id,application_1551747423133_0681)
(spark.submit.deployMode,cluster)
(spark.streaming.backpressure.enabled,true)
(spark.yarn.credentials.renewalTime,1562764821939ms)
(spark.ui.filters,org.apache.hadoop.yarn.server.webproxy.amfilter.AmIpFilter)
(spark.executor.memory,2g)
(spark.yarn.credentials.updateTime,1562769141873ms)
(spark.driver.cores,2)
(spark.executor.id,driver)
(spark.executor.cores,2)
(spark.master,yarn)
(spark.driver.memory,3g)
(spark.sql.warehouse.dir,/user/hive/warehouse)
(spark.ui.port,0)
(spark.driver.extraJavaOptions,-XX:+UseG1GC -XX:ConcGCThreads=2
-XX:InitiatingHeapOccupancyPercent=35 -Dlog4j.configuration=log4j.properties -verbose:gc)
(spark.executor.instances,2)
(spark.driver.port,37375)
我還有一些正在打印的 Kafka 配置,所以我也會在下面發布這些配置。
org.apache.kafka.clients.consumer.ConsumerConfig:178 - ConsumerConfig values:
metric.reporters = []
metadata.max.age.ms = 300000
partition.assignment.strategy = [org.apache.kafka.clients.consumer.RangeAssignor]
reconnect.backoff.ms = 50
sasl.kerberos.ticket.renew.window.factor = 0.8
max.partition.fetch.bytes = 1048576
ssl.keystore.type = JKS
enable.auto.commit = false
sasl.mechanism = GSSAPI
interceptor.classes = null
exclude.internal.topics = true
ssl.truststore.password = null
client.id =
ssl.endpoint.identification.algorithm = null
max.poll.records = 60000
check.crcs = true
request.timeout.ms = 40000
heartbeat.interval.ms = 3000
auto.commit.interval.ms = 5000
receive.buffer.bytes = 65536
ssl.truststore.type = JKS
ssl.truststore.location = null
ssl.keystore.password = null
fetch.min.bytes = 1
send.buffer.bytes = 131072
value.deserializer = class org.apache.kafka.common.serialization.StringDeserializer
retry.backoff.ms = 100
ssl.secure.random.implementation = null
sasl.kerberos.kinit.cmd = /usr/bin/kinit
sasl.kerberos.service.name = null
sasl.kerberos.ticket.renew.jitter = 0.05
ssl.trustmanager.algorithm = PKIX
ssl.key.password = null
fetch.max.wait.ms = 500
sasl.kerberos.min.time.before.relogin = 60000
connections.max.idle.ms = 540000
session.timeout.ms = 30000
metrics.num.samples = 2
key.deserializer = class org.apache.kafka.common.serialization.StringDeserializer
ssl.protocol = TLS
ssl.provider = null
ssl.enabled.protocols = [TLSv1.2, TLSv1.1, TLSv1]
ssl.keystore.location = null
ssl.cipher.suites = null
security.protocol = PLAINTEXT
ssl.keymanager.algorithm = SunX509
metrics.sample.window.ms = 30000
auto.offset.reset = latest
spark.streaming.kafka.maxRatePerPartition = 60000 意味着
此直接 API 將讀取每個 Kafka 分區的最大速率(以每秒消息數為單位),該 API 將通過屬性
spark.streaming.backpressure.enabled = true
啟用
17610 + 32790 + 9600 = 60000您的批量大小已達到。
看到這個
您的 3 個 kafka 分區(有 60k 條消息)由 spark 以塊/spark 分區的形式讀取,在您的情況下,是 spark 的 3 個分區。 但 3 個 kafka 分區中的原始消息數為 60000 (17610 + 32790 + 9600)。 即使是高消息速率輸入流也將使用RateLimiter和PIDRateEstimator保持統一的消息速率
所以你在這里完成了......
進一步參考我的帖子 -關於 Spark Streaming Back Pressure 的簡短說明,以便更好地理解
結論:如果您啟用背壓,則無論您發送消息的速率如何。 它將允許恆定的消息速率
像這個說明性的一般示例......其中背壓屬性就像流入控制 - 壓力調節螺釘以保持消息流的均勻速率。
所以我找到了 Spark 將我發送的一批記錄分成多批的原因。 我有spark.streaming.backpressure.enabled = true
。 這使用來自先前批次的反饋循環來控制接收速率,該接收速率上限為我在spark.streaming.kafka.maxRatePerPartition
設置的每個分區的最大速率。 所以 spark 正在為我調整接收率。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.