简体   繁体   English

scala到java转换为sparksql中用户自定义的function(UDF)

[英]scala to java conversion for user-defined function (UDF) in sparksql

spark.sqlContext.udf.register('dataSource', (data: scala.collection.mutable.WrappedArray$ofRef, ofType : String) => {

    var flag = ''
    try{
    val array: Seq[String] = data.flatten(x => Seq(x.toString()))
    array.foreach(s => if(s.contains(ofType)) { flag = ofType })
    }
    catch {
    println("Exception :" + x.getMessage)
    flag = ''
    }
    flag;

})

It is not required to convert this Scala code into Java code.不需要将此 Scala 代码转换为 Java 代码。 In Spark you can register a UDF in any of the languages and also make use of it in either Java or Scala as long as it is used in the same SparkSession or Context.在 Spark 中,您可以使用任何语言注册 UDF,也可以在 Java 或 Scala 中使用它,只要它用于相同的 SparkSession 或 Context。

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM