将结果从 Kafka 写入 pyspark 中的 csv

Question

我已经设置了一个 Kafka 代理，并且我设法使用 pyspark 读取记录。

import os
from pyspark.sql import SparkSession
import pyspark
import sys
from pyspark import SparkConf, SparkContext, SQLContext, Row
from pyspark.streaming import StreamingContext
from pyspark.streaming.kafka import KafkaUtils

conf = SparkConf().setMaster("my-master").setAppName("Kafka_Spark")
sc = SparkContext(conf=conf)
sc.setLogLevel("WARN")
ssc = StreamingContext(sc,5)
kvs = KafkaUtils.createDirectStream(ssc,
                                        ['enriched_messages'], 
                                       {"metadata.broker.list":"my-kafka-broker","auto.offset.reset" : "smallest"},
                                        keyDecoder=lambda x: x,
                                        valueDecoder=lambda x: x)


lines  = kvs.map(lambda x: x[1])
lines.pprint()

ssc.start()
ssc.awaitTermination(10)

返回数据示例（时间戳、姓名、姓氏、身高）：

2020-05-07 09:16:38, JoHN, Doe, 182.5

我想将这些记录写入 csv 文件。 lines是KafkaTransformedDStream类型，rdd 的经典解决方案不起作用。 有没有人解决这个问题？

Answer 1

将 DStreams 转换为单个 rdd 是不可能的，因为 DStreams 是连续流。 您可以使用以下内容，这会产生许多文件，然后将它们合并为单个文件。

lines.saveAsTextFiles("prefix", "suffix")