如何在Zeppelin / Spark / Scala中打印包装好的数组？

Question

在这个问题中，我被告知如何使用齐柏林飞艇的z.show命令打印数据框。 除在引理列中显示“ WrappedArray”外，此方法效果很好：

我已经试过了：

z.show(dfLemma.select(concat_ws(",", $"lemma")))

但是它只是给了我一个单词列表，格式不正确，我还希望在输出中添加种族主义列。 任何帮助深表感谢。

Answer 1

这是格式化数组列的建议：

import org.apache.spark.sql.Column
import org.apache.spark.sql.functions._
import sqlContext.implicits._

val df = Seq(
  (1, Array("An", "Array")), (2, Array("Another", "Array"))
).toDF("first", "second")

def formatArrayColumn(arrayColumn: Column): Column = {
  concat(lit("["), concat_ws(", ", arrayColumn), lit("]")).as(s"format(${arrayColumn.expr})")
}

val result = df.withColumn("second", formatArrayColumn($"second"))

z.show(result)

结果是：