在scala中將RDD保存在for循環中

Question

我有一個for循環，其中每次迭代都會得到一個RDD，我想將其保存以備后用。 保存和訪問這些RDD的最有效方法是什么？

我在這里先向您的幫助表示感謝！

Answer 1

不含RDD和spark細節的示例代碼：

scala> val res = (for (i <- (1 to 10);
     |  j=2*i;
     |  k= s"i: $i j: $j") yield k)
res: scala.collection.immutable.IndexedSeq[String] = Vector(i: 1 j: 2, i: 2 j: 4, i: 3 j: 6, i: 4 j: 8, i: 5 j: 10, i: 6 j: 12, i: 7 j: 14, i: 8 j: 16, i: 9 j: 18, i: 10 j: 20)

scala> res(0)
res201: String = i: 1 j: 2

scala> res(1)
res202: String = i: 2 j: 4

因此，只需生成您的RDD，並以Seq的形式收集它們，以備后用。

您也可以產生多個值

yield (i, j, k)

然后解構元組N，對其進行過濾，分組等。