如何在Zeppelin / Spark / Scala中打印包裝好的數組？

Question

在這個問題中，我被告知如何使用齊柏林飛艇的z.show命令打印數據框。 除在引理列中顯示“ WrappedArray”外，此方法效果很好：

我已經試過了：

z.show(dfLemma.select(concat_ws(",", $"lemma")))

但是它只是給了我一個單詞列表，格式不正確，我還希望在輸出中添加種族主義列。 任何幫助深表感謝。

Answer 1

這是格式化數組列的建議：

import org.apache.spark.sql.Column
import org.apache.spark.sql.functions._
import sqlContext.implicits._

val df = Seq(
  (1, Array("An", "Array")), (2, Array("Another", "Array"))
).toDF("first", "second")

def formatArrayColumn(arrayColumn: Column): Column = {
  concat(lit("["), concat_ws(", ", arrayColumn), lit("]")).as(s"format(${arrayColumn.expr})")
}

val result = df.withColumn("second", formatArrayColumn($"second"))

z.show(result)

結果是：