繁体   English   中英

使用Kafka v.0.10.0.x时无法使用消息

Can't Consume Messages When Using Kafka v.0.10.0.x

提示:本站收集StackOverFlow近2千万问答,支持中英文搜索,鼠标放在语句上弹窗显示对应的参考中文或英文, 本站还提供   中文繁体   英文版本   中英对照 版本,有任何建议请联系yoyou2525@163.com。

我在集群上使用kafka v.0.10.2。

我可以使用v.0.8.x和v0.10.2产生很好的消息

但是使用客户端v0.10.0.x消费消息时,我遇到以下错误;

WARN [ConsumerFetcherThread-console-consumer-myconsumer-0-1002],读取kafka.consumer.ConsumerFetcherThread$FetchRequest@16090d7a时出错。 可能的原因:java.nio.BufferUnderflowException(kafka.consumer.ConsumerFetcherThread)

好的,现在我的kafka.clien是v.0.8.x,但是我有一个新问题

    6 15:07:13 WARN scheduler.TaskSetManager: Lost task 0.0 in stage 0.0 (TID 0, hadoop11, executor 10): org.apache.spark.SparkException: Task failed while writing rows
        at org.apache.spark.internal.io.SparkHadoopWriter$.org$apache$spark$internal$io$SparkHadoopWriter$$executeTask(SparkHadoopWriter.scala:151)
        at org.apache.spark.internal.io.SparkHadoopWriter$$anonfun$3.apply(SparkHadoopWriter.scala:79)
        at org.apache.spark.internal.io.SparkHadoopWriter$$anonfun$3.apply(SparkHadoopWriter.scala:78)
        at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:87)
        at org.apache.spark.scheduler.Task.run(Task.scala:109)
        at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:345)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
        at java.lang.Thread.run(Thread.java:748)
Caused by: kafka.common.KafkaException: String exceeds the maximum size of 32767.
        at kafka.api.ApiUtils$.shortStringLength(ApiUtils.scala:73)
        at kafka.api.TopicData$.headerSize(FetchResponse.scala:107)
        at kafka.api.TopicData.<init>(FetchResponse.scala:113)
        at kafka.api.TopicData$.readFrom(FetchResponse.scala:103)
        at kafka.api.FetchResponse$$anonfun$4.apply(FetchResponse.scala:170)
        at kafka.api.FetchResponse$$anonfun$4.apply(FetchResponse.scala:169)
        at scala.collection.TraversableLike$$anonfun$flatMap$1.apply(TraversableLike.scala:241)
        at scala.collection.TraversableLike$$anonfun$flatMap$1.apply(TraversableLike.scala:241)
        at scala.collection.immutable.Range.foreach(Range.scala:160)
        at scala.collection.TraversableLike$class.flatMap(TraversableLike.scala:241)
        at scala.collection.AbstractTraversable.flatMap(Traversable.scala:104)
        at kafka.api.FetchResponse$.readFrom(FetchResponse.scala:169)
        at kafka.consumer.SimpleConsumer.fetch(SimpleConsumer.scala:135)
        at org.apache.spark.streaming.kafka.KafkaRDD$KafkaRDDIterator.fetchBatch(KafkaRDD.scala:196)
        at org.apache.spark.streaming.kafka.KafkaRDD$KafkaRDDIterator.getNext(KafkaRDD.scala:212)
        at org.apache.spark.util.NextIterator.hasNext(NextIterator.scala:73)
        at scala.collection.Iterator$GroupedIterator.fill(Iterator.scala:1126)
        at scala.collection.Iterator$GroupedIterator.hasNext(Iterator.scala:1132)
        at scala.collection.Iterator$$anon$11.hasNext(Iterator.scala:408)
        at scala.collection.Iterator$$anon$11.hasNext(Iterator.scala:408)
        at org.apache.spark.internal.io.SparkHadoopWriter$$anonfun$4.apply(SparkHadoopWriter.scala:124)
        at org.apache.spark.internal.io.SparkHadoopWriter$$anonfun$4.apply(SparkHadoopWriter.scala:123)
        at org.apache.spark.util.Utils$.tryWithSafeFinallyAndFailureCallbacks(Utils.scala:1411)
        at org.apache.spark.internal.io.SparkHadoopWriter$.org$apache$spark$internal$io$SparkHadoopWriter$$executeTask(SparkHadoopWriter.scala:135)
        ... 8 more

显示的内容String超过了32767的最大大小。

1 个回复

告诉我我的最终计划,我将版本升级到0.10.2

1 无法使用Kafka讯息

我已经设置了一个具有1个分区和1个复制因子的Kafka代理。 我能够产生消息,但是我不能使用它们。我没有收到任何错误,就像在等待一些东西一样。 我正在尝试使用以下命令消耗它们: Kafka配置 Zookeeper日志(最新消息) 制片人 附言:我正在遵循本指南 更新我正在先创建主 ...

2 无法使用Kafka-Python的反序列化器从Kafka消耗JSON消息

我试图通过Kafka发送一个非常简单的JSON对象,并使用Python和kafka-python将其读出来。 但是,我一直看到以下错误: 我做了一些研究,这个错误最常见的原因是JSON错了。 我在发送之前尝试打印出JSON,方法是将以下内容添加到我的代码中,并且JSON打印没有错误。 ...

4 可以在控制台中使用Kafka消息,但不能在Python库中使用吗?

我正在笔记本电脑上进行本地处理,并尝试从远程服务器“ xxxxx”读取主题“ test”。 使用控制台时,我启动了zookeeper,Kafka,然后启动了使用者: 消息将显示在控制台中。 但是当按照以下方式使用Python库时,我什么也看不到: 我还可以从控制台中的Kafk ...

5 无法使用来自Kafka群集的消息

我定义了一个由两个节点组成的Kafka集群,其复制因子为2。当我尝试使用控制台使用者使用消息时,它什么也没做,只是等待。 制片人 ./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic adi 消费 ...

6 无法使用Apache Camel使用Kafka消息

我无法使用Apache骆驼使用在本地模式下运行的Kafka消息。 应用程序启动时,我没有查看任何Kafka使用者属性。 以下是我的卡夫卡消费者代码 我在pom.xml中使用以下依赖项: 1.Camel core-2.21.1 2.Camel Kafka-2.21.1 Po ...

8 无法使用Apache Storm使用Kafka消息

我已经开发了一个使用apache storm来使用kafka消息的应用程序,当我在eclipse中的LocalCluster中使用拓扑运行拓扑时,它可以正常工作并且消息可以正常使用,但是当我使用storm命令(bin \\ storm jar .. \\ kafka-storm -0.0.1-S ...

9 使用 shell 脚本使用 kafka 消息

我写了一个脚本来消费 kaka 消息,以检查它们是否可以正确消费消息。 刚开始学shell脚本,不知道自己的脚本严谨吗? 想知道这样做是否是好的做法以及最好的方法是什么? 我还需要判断版本,因为低版本的查询消息需要加参数“--new-consumer”。 ...

10 使用KAFKA REST API消耗JSON消息

我有一个要求,当消息从ACTIVEMQ以json格式传入时,我必须公开可以接收消息的端点。 我正在使用KAFKA,但不知道我是否可以使用KAFKA REST API来接收json消息并将其针对Kafka代理中的特定主题进行存储? ...

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2021 STACKOOM.COM