格式化连接rdd-Apache Spark

Question

我有两个键值对RDD，我加入了两个rdd和saveastext文件，这是代码：

val enKeyValuePair1 = rows_filter6.map(line => (line(8) -> (line(0),line(4),line(10),line(5),line(6),line(14),line(1),line(9),line(12),line(13),line(3),line(15),line(7),line(16),line(2),line(14))))

val enKeyValuePair = DATA.map(line => (line(0) -> (line(2),line(3))))

val final_res = enKeyValuePair1.leftOuterJoin(enKeyValuePair)

val output = final_res.saveAsTextFile("C:/out")

my output is as follows:
(534309,((17999,5161,45005,00000,XYZ,,29.95,0.00),None))

如何去除所有括号？ 我希望我的输出如下：

534309,17999,5161,45005,00000,XYZ,,29.95,0.00,None

Answer 1

当输出到文本文件时，Spark将仅使用RDD中元素的toString表示形式。 如果要控制格式，则tou可以在调用saveAsTextFile之前将数据最后一次转换为String 。

幸运的是，可以使用解构将使用Spark API生成的元组分开。 在您的示例中，我将执行以下操作：

val final_res = enKeyValuePair1.leftOuterJoin(enKeyValuePair)
val formatted = final_res.map { tuple =>
  val (f1,((f2,f3,f4,f5,f6,f7,f8,f9),f10)) = tuple
  Seq(f1, f2, f3, f4, f5, f6, f7, f8, f9, f10).mkString(",")
}
formatted.saveAsTextFile("C:/out")

第一条val行将采用传递到map函数的元组，并将组件分配给左侧的值。 第二行使用要显示的顺序创建一个临时Seq其中包含字段，然后调用mkString(",")以逗号mkString(",")字段。

在字段较少的情况下，或者您只是想解决REPL上的问题，还可以通过在传递给map的部分函数上使用模式匹配来使用上述方法的替代方案。

simpleJoinedRdd.map { case (key,(left,right)) => s"$key,$left,$right"}}

尽管这样做确实可以使它成为单行表达式，但如果RDD中的数据与提供的模式不匹配，则它可能引发Exception，这与之前的示例相反，在该示例中，如果无法将tuple参数分解为预期形式。

Answer 2

您可以执行以下操作：

import scala.collection.JavaConversions._
val output = sc.parallelize(List((534309,((17999,5161,45005,1,"XYZ","",29.95,0.00),None))))
val result = output.map(p => p._1 +=: p._2._1.productIterator.toBuffer += p._2._2)
  .map(p => com.google.common.base.Joiner.on(", ").join(p.iterator))

我用番石榴来格式化字符串，但是有可能使用scala方法来做到这一点。

Answer 3

保存之前先做平面图。 或者，您可以编写一个简单的格式函数并在地图中使用它。 添加一点代码，只是为了展示它是如何完成的。 函数formatOnDemand可以是任何东西

test = sc.parallelize([(534309,((17999,5161,45005,00000,"XYZ","",29.95,0.00),None))])
print test.collect()
print test.map(formatOnDemand).collect()

def formatOnDemand(t):
    out=[]
    out.append(t[0])
    for tok in t[1][0]:
        out.append(tok)
    out.append(t[1][1])
    return out

>>> 
[(534309, ((17999, 5161, 45005, 0, 'XYZ', '', 29.95, 0.0), None))]
[[534309, 17999, 5161, 45005, 0, 'XYZ', '', 29.95, 0.0, None]]