無法全局訪問Kafka Spark Streaming中的數據

Question

我正在嘗試將數據從Kafka流式傳輸到Spark

JavaPairInputDStream<String, String> directKafkaStream = KafkaUtils.createDirectStream(ssc,
                String.class, 
                String.class, 
                StringDecoder.class, 
                StringDecoder.class, 
                kafkaParams, topics);

在這里，我正在遍歷JavaPairInputDStream以處理RDD。

directKafkaStream.foreachRDD(rdd ->{
            rdd.foreachPartition(items ->{
                while (items.hasNext()) {
                    String[] State = items.next()._2.split("\\,");
                    System.out.println(State[2]+","+State[3]+","+State[4]+"--");
                };
            });        
        }); 

我可以在foreachRDD中獲取數據，而我的要求是必須全局訪問狀態數組。 當我嘗試全局訪問狀態數組時，出現異常

java.lang.IndexOutOfBoundsException: Index: 0, Size: 0

有什么建議么 ？ 謝謝。

Answer 1

這更多的是將您的查詢表與流RDD結合在一起，以獲取具有匹配的“ code”和“ violationCode”字段的所有項目。

流程應該是這樣的。

1. 創建Hive查找表的RDD => lookupRdd
2. 從kafka流創建DStream
3. 對於Dstream中的每個RDD，將lookupRDD與streamRdd結合在一起，處理所結合的項（計算金額之和...）並保存此處理后的結果。

注意下面的代碼不完整。 請完成所有待辦事項注釋。

JavaPairDStream<String, String> streamPair = directKafkaStream.mapToPair(new PairFunction<Tuple2<String, String>, String, String>() {
        @Override
        public Tuple2<String, String> call(Tuple2<String, String> tuple2) throws Exception {
            System.out.println("Tuple2 Message is----------" + tuple2._2());
            String[] state = tuple2._2.split("\\,");
            return new Tuple2<>(state[4], tuple2._2()); //pair <ViolationCode, data>
        }
    });

    streamPair.foreachRDD(new Function<JavaPairRDD<String, String>, Void>() {
        JavaPairRDD<String, String> hivePairRdd = null;
        @Override
        public Void call(JavaPairRDD<String, String> stringStringJavaPairRDD) throws Exception {
            if (hivePairRdd == null) {
                hivePairRdd = initHiveRdd();
            }
            JavaPairRDD<String, Tuple2<String, String>> joinedRdd = stringStringJavaPairRDD.join(hivePairRdd);
            System.out.println(joinedRdd.take(10));
            //todo process joinedRdd here and save the results.
            joinedRdd.count(); //to trigger an action
            return null;
        }
    });
}

public static JavaPairRDD<String, String> initHiveRdd() {
    JavaRDD<String> hiveTableRDD = null; //todo code to create RDD from hive table
    JavaPairRDD<String, String> hivePairRdd = hiveTableRDD.mapToPair(new PairFunction<String, String, String>() {
        @Override
        public Tuple2<String, String> call(String row) throws Exception {
            String code = null; //TODO process 'row' and get 'code' field
            return new Tuple2<>(code, row);
        }
    });
    return hivePairRdd;
}