Kafka Spark-Streaming偏移问题

Question

使用Kafka Spark-Streaming。 能够读取和处理从Producer发送的数据。 我这里有一个场景，假设生产者正在生成消息，而消费者被关闭了一会儿然后打开。 现在，Conumser仅读取实时数据。 相反，它还应该保留停止读取数据。 这是我一直在使用的pom.xml。

<properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <spark.version>2.0.1</spark.version>
        <kafka.version>0.8.2.2</kafka.version>
    </properties>


    <dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming_2.11</artifactId>
            <version>${spark.version}</version>
            <scope>provided</scope>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kafka_2.10 -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming-kafka_2.11</artifactId>
            <version>1.6.2</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka_2.11 -->
        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka_2.11</artifactId>
            <version>${kafka.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-clients</artifactId>
            <version>${kafka.version}</version>
        </dependency>

        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>2.11.1</version>
        </dependency>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>${spark.version}</version>
            <scope>provided</scope>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.json/json -->
        <dependency>
            <groupId>org.json</groupId>
            <artifactId>json</artifactId>
            <version>20160810</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.json4s/json4s-ast_2.11 -->
        <dependency>
            <groupId>org.json4s</groupId>
            <artifactId>json4s-ast_2.11</artifactId>
            <version>3.2.11</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.2.0</version>
        </dependency>

我曾尝试使用Kafka-v0.10.1.0 Producer和Conumser。 行为符合预期（消费者从​​其离开的位置读取数据）。 因此，在此版本中，偏移量可以正确拾取。

也尝试过在上述pom.xml中使用相同版本，但是由于java.lang.ClassCastException: kafka.cluster.BrokerEndPoint cannot be cast to kafka.cluster.Broker失败java.lang.ClassCastException: kafka.cluster.BrokerEndPoint cannot be cast to kafka.cluster.Broker 。

我了解版本的兼容性，但我也在寻找连续流。

Answer 1

不同的行为可能是由于Kafka在版本0.8和0.10之间进行了相当大的更改而引起的。

除非您绝对必须使用旧版本，否则建议切换到新版本。

看一下这个链接：

https://spark.apache.org/docs/latest/streaming-kafka-integration.html

Kafka项目在版本0.8和0.10之间引入了新的消费者api，因此有2个单独的对应Spark Streaming包可用。

如果要使用Kafka v0.10.1.0，则必须在https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kafka-0-10_2.11中指定一些kafka spark流集成依赖项。 。

例如：

<!-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kafka-0-10_2.11 -->
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-streaming-kafka-0-10_2.11</artifactId>
        <version>2.1.0</version>
    </dependency>

    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-streaming_2.11</artifactId>
        <version>2.1.0</version>
    </dependency>

    <dependency>
        <groupId>org.apache.kafka</groupId>
        <artifactId>kafka_2.11</artifactId>
        <version>0.10.1.0</version>
    </dependency>

    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.11</artifactId>
        <version>2.1.0</version>
    </dependency>

补充说明：您使用的是hadoop 2.2.0，该版本于2013年10月发布，因此在Hadoop术语上比较古老，您应该考虑将其更改为更新的版本。

让我知道是否有帮助。