将RDD [String]转换为RDD [Array [String]]

Question

给定一个RDD{String] ，其中一行中的每个元素都用|分隔| 字符，例如：

aaa|bbb|ccc|ddd

将其转换为RDD[Array[String]的正确方法是什么，以便将上述内容表示为Array("aaa", "bbb", "ccc", "ddd")

以下想法：

val rddAsArray = rdd.map { x => Array(x.split("""\|""")) }

不上班。 如

println(rddAsArray.foreach { _.mkString(",") })

仅打印： [[Ljava.lang.String;@4096711f

谢谢

Answer 1

几件事情：

尝试：

val rddAsArray = rdd.map(x => x.split("\\|"))

当您只需要RDD[Array[String]]时，就可以创建RDD[Array[Array[String]]] RDD[Array[String]] 。

而且您的println并没有执行您认为的操作。 尝试：

rddAsArray.take(1).foreach(l => println(l.mkString(",")))

您需要take()来将RDD引入驱动程序中-否则println将其结果打印到执行者的stdout ，您可能看不到它。 您需要它来打印到驱动程序的stdout ，因此是take() 。 否则， println需要嵌套在您的foreach ，而不是相反。