不支持類型 org.apache.spark.sql.types.DataType 的模式

Question

我嘗試使用架構創建空 df：

  val sparkConf = new SparkConf()
    .setAppName("app")
    .setMaster("local")

  val sparkSession = SparkSession
    .builder()
    .config(sparkConf)
    .getOrCreate()

  val sparkContext = sparkSession.sparkContext

  var tmpScheme = StructType(
    StructField("source_id", StringType, true) :: Nil)

var df = conf.SparkConf.sparkSession.createDataFrame(tmpScheme)

並得到Schema for type org.apache.spark.sql.types.DataType is not supported...

我不明白為什么 - 即使在 Imports 中也沒有.DataType ：

import org.apache.spark.sql.types.{BooleanType, IntegerType, StringType, StructField, StructType}

這可能是什么問題？

PS：火花版

  "org.apache.spark" %% "spark-sql" % "3.2.2", // spark
  "org.apache.spark" %% "spark-core" % "3.2.2", // spark

Answer 1

如果您查看文檔，您可以看到StructType的參數fields是Array[StructField]類型並且您正在傳遞StructField 。

這意味着您應該用Array包裝您的StructField ，例如：

val simpleSchema = StructType(Array(
  StructField("source_id", StringType, true))
)

祝你好運！