如何存儲JavaDStream <String> 使用Java在Spark中配置Hive表？

Question

我正在從Kafka服務器接收消息到JavaDStream對象中。 現在我想將消息存儲到配置單元表中。 我怎樣才能做到這一點？

用於從Kafka流接收消息的代碼段：

JavaPairReceiverInputDStream<String, String> kafkaStream = KafkaUtils.createStream(jssc, zookeperIp, consumerGroup,
            topic);

JavaDStream<String> messageData = kafkaStream.map(new Function<Tuple2<String, String>, String>() {

    @Override
    public String call(Tuple2<String, String> message) throws Exception {
        // TODO Auto-generated method stub
        return message._2;
    }

});

Hive中表的架構：

create external table sample(value STRING);

我正在使用spark 2.1.0版本。

Answer 1

請查看這些官方編程指南。

您可以輕松地對流數據使用DataFrames和SQL操作

並且Spark SQL還支持讀寫存儲在Apache Hive中的數據