带有广播加入的Spark流

Question

我有一个火花流用例，其中我打算保持在每个执行器上广播和缓存数据集。 流中的每个微批处理都会从RDD中创建一个数据帧并加入该批处理。 下面给出的我的测试代码将对每个批次执行广播操作。 有没有办法只播放一次？

val testDF = sqlContext.read.format("com.databricks.spark.csv")
                .schema(schema).load("file:///shared/data/test-data.txt") 

val lines = ssc.socketTextStream("DevNode", 9999)

lines.foreachRDD((rdd, timestamp) => {
    val recordDF = rdd.map(_.split(",")).map(l => Record(l(0).toInt, l(1))).toDF()
    val resultDF = recordDF.join(broadcast(testDF), "Age")
    resultDF.write.format("com.databricks.spark.csv").save("file:///shared/data/output/streaming/"+timestamp)
    }

对于每个批次，都会读取此文件并进行广播。

16/02/18 12:24:02 INFO HadoopRDD: Input split: file:/shared/data/test-data.txt:27+28
16/02/18 12:24:02 INFO HadoopRDD: Input split: file:/shared/data/test-data.txt:0+27

16/02/18 12:25:00 INFO HadoopRDD: Input split: file:/shared/data/test-data.txt:27+28
16/02/18 12:25:00 INFO HadoopRDD: Input split: file:/shared/data/test-data.txt:0+27

关于广播数据集仅建议一次？

Answer 1

看来现在广播的表没有被重用。 请参阅： SPARK-3863

在foreachRDD循环外执行广播：

 val testDF = broadcast(sqlContext.read.format("com.databricks.spark.csv") .schema(schema).load(...)) lines.foreachRDD((rdd, timestamp) => { val recordDF = ??? val resultDF = recordDF.join(testDF, "Age") resultDF.write.format("com.databricks.spark.csv").save(...) }