如何在scala中使用rdd刪除csv文件的元素？

Question

如何在Scala中使用RDD刪除CSV文件的元素？

val textRDD = sc.textFile("file:/home/bharathi/bhaskar/sample.tab")

我在sample.tab這樣的值

A   B   C   D
1   2   3   4
5   6   7   8
9   10  11  12

我必須刪除第二行並顯示輸出

Answer 1

假設第二行是5 6 7 8 ，並且行之間沒有任何空行。 您可以使用zipWithIndex將索引分配給每一行，然后根據索引過濾出不需要的行。

textRDD.zipWithIndex.filter(_._2 != 2).map(_._1).foreach(println)

它將打印

A B C D
1 2 3 4
9 10 11 12