從RelationalGroupedDataset訪問sparksession

Question

常規的spark數據sparksession允許通過df.sparksession訪問df.sparksession

class RelationalGroupedDataset protected[sql](
    df: DataFrame,
    groupingExprs: Seq[Expression],
    groupType: RelationalGroupedDataset.GroupType) {

如何訪問RelationalGroupedDataset的sparksession？ 它似乎只是私有的。

我的動機是無需訪問sparksession就可以訪問spark的隱式對象。

Answer 1

除非您依賴范圍內的多個會話實例，否則請使用implicit參數

def f(gds: RelationalGroupedDataset)(implicit spark: SparkSession) = ???

或使用構建器

def f(gds: RelationalGroupedDataset) = {
  import SparkSession.builder.getOrCreate.implicits._
}

通常足夠好。 如果沒有，您總是可以這樣使用hack：

def f(gds: RelationalGroupedDataset) = {
  import gds.count.sparkSession.implicits._
}