現有CDH 5.5.2集群上的Kafka配置

Question

我正在現有的CDH 5.5.2群集上安裝Kafka-2.0，這是我遵循的步驟

1. 從CM添加服務
2. 選定的Kafka（在我下載並分發並激活所有節點上的kafka包裹之前）
3. 為KafkaBroker選擇了1個節點，為Kafka MirrorMaker選擇了4個節點
4. 然后，我使用Mirror Maker節點之一以及同一個節點的Source Broker List（source.bootstrap.servers）更新了我的Destination Broker List（bootstrap.servers）屬性。

5. 我收到以下錯誤（日志文件）

    Fatal error during KafkaServerStartable startup. Prepare to shutdown java.lang.OutOfMemoryError: Java heap space at java.nio.HeapByteBuffer.<init>(HeapByteBuffer.java:57) at java.nio.ByteBuffer.allocate(ByteBuffer.java:331) at kafka.log.SkimpyOffsetMap.<init>(OffsetMap.scala:43) at kafka.log.LogCleaner$CleanerThread.<init>(LogCleaner.scala:186) at kafka.log.LogCleaner$$anonfun$1.apply(LogCleaner.scala:83) at kafka.log.LogCleaner$$anonfun$1.apply(LogCleaner.scala:83) at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:245) at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:245) at scala.collection.immutable.Range.foreach(Range.scala:166) at scala.collection.TraversableLike$class.map(TraversableLike.scala:245) at scala.collection.AbstractTraversable.map(Traversable.scala:104) at kafka.log.LogCleaner.<init>(LogCleaner.scala:83) at kafka.log.LogManager.<init>(LogManager.scala:64) at kafka.server.KafkaServer.createLogManager(KafkaServer.scala:601) at kafka.server.KafkaServer.startup(KafkaServer.scala:180) at kafka.server.KafkaServerStartable.startup(KafkaServerStartable.scala:37) at kafka.Kafka$.main(Kafka.scala:67) at com.cloudera.kafka.wrap.Kafka$.main(Kafka.scala:76) at com.cloudera.kafka.wrap.Kafka.main(Kafka.scala) 

Answer 1

您需要將broker_max_heap_size值增加到至少1GB，然后從Cloudera Manager重新啟動kafka服務。 如果仍然遇到相同的問題，請嘗試根據群集配置增加

Answer 2

堆棧跟蹤顯示“ java.lang.OutOfMemoryError：Java堆空間”-VM堆空間不足。 通過設置增加

export KAFKA_HEAP_OPTS="-Xmx1G -Xms512M" 

在/bin/kafka-server-start.sh中。