如何在foreach循環中運行sc.textFile（）並對其進行並集？

Question

所以這就是我一直在努力的工作，我是火花的新手！

我正在嘗試執行此代碼

val ii=sc.parallelize(Seq(("e.txt"),("r.txt"))).foreach{i => sc.textFile(i)}

但我收到“ Nullpointer異常”

謝謝！

Answer 1

您可以將多個文件添加到sc.textFile 。 您不應在地圖操作中使用sc 。 map函數將分配給不同的執行器，而sc駐留在驅動程序中。 因此，它將引發Nullpointer異常。

a.txt contents:

a.txt:line1
a.txt:line2

b.txt contents:

b.txt:line1
b.txt:line2

Spark允許您在同一操作中添加更多文件：

scala> sc.textFile("a.txt,b.txt").collect()
res1: Array[String] = Array(a.txt:line1, a.txt:line2, b.txt:line1, b.txt:line2)

希望這會有所幫助，並與Spark玩得開心！