从一系列 when 创建结构数组

Question

这里是非常初级的数据人员，所以如果这是一个愚蠢的人，请提前道歉/我以错误的方式思考它。 在 Databricks 中使用 Scala。

我的目标是评估 dataframe，并为轮班调度系统返回一些数据质量检查。

今天我这样做：

employees
.withColumn(
      "record_validity", 
  split(         
    concat_ws(
      ",",
        when($"employmentPeriod"<0, "corrupt:date:negative-period"),
        when($"deactivationDate".isNull && $"hiredDate".isNull, "corrupt:date:missing"),
        when($"synthetic_hiredDate".isNull, "corrupt:date:deactivated-after-creation"),
        when($"hiredDate".isNull, "corrupt:date:missing-hire-date"),
        when($"deactivationDate".isNull && $"employment"==="active", "valid:implicit")
                    ),
        ","
      )
    )

返回：

["corrupt:date:missing", "corrupt:date:deactivated-after-creation", "corrupt:date:missing-hire-date", "valid:primary-department:missing"]

但是，我想返回一个结构数组，因为这些检查将变得更加复杂，并且工程团队更愿意以这种格式获取它：

[{ validationCategory: "corrupt", validationError: "date-negative-period" }
 { validationCategory: "corrupt", validationError: "date-missing" } 
 {...etc...}]

我尝试修改when返回结构而不是字符串，但它不能（如果我的其他 SO 读数正确）。 所以我对如何继续感到有些困惑——任何提示都表示赞赏。

Answer 1

在类型(category, error, condition)的元组中单独维护逻辑的想法怎么样。

然后，您可以操作此元组列表来创建您需要的结构：

val validations = 
  List(
    ("corrupt", "date-negative-period", 
      $"employmentPeriod"<0),
    ("corrupt", "date-missing", 
      $"deactivationDate".isNull && $"hiredDate".isNull),
    ("corrupt", "date-deactivated-after-creation", 
      $"synthetic_hiredDate".isNull),
    ("corrupt", "date-missing-hire-date", 
      $"hiredDate".isNull),
    ("valid", "implicit", 
      $"deactivationDate".isNull && $"employment"==="active")
  )

def validation_list = 
  validations.map{
    case (category, error, condition) => 
      when(
        condition,
        struct(
          lit(category).as("validationCategory"),
          lit(error).as("validationError")
        )
      )
  }

然后从这个验证列列表中，您将构建您的数组列，可能会过滤掉 null 结果（即null - 通过的验证检查）：

val df = employees.withColumn("record_validity", filter(array(validation_list:_*), x => x.isNotNull))
df.printSchema
root
 ...
 |-- record_validity: array (nullable = false)
 |    |-- element: struct (containsNull = true)
 |    |    |-- validationCategory: string (nullable = false)
 |    |    |-- validationError: string (nullable = false)