如何在Apache Spark中將Scala UDF轉換為Java版本？

Question

我已經在Scala中編寫了Apache Spark udf，如下所示：

val toLongDate = udf((t: String) => new SimpleDateFormat("dd/MM/yyyy HH:mm:ss aa").parse(t).getTime)

我想這樣用Java編寫udf：

import static org.apache.spark.sql.functions.udf;

UserDefinedFunction toLongDate = udf(myFunction1, typeTag1, typeTage2);

我不知道如何將這些參數提供給org.apache.spark.sql.functions.udf函數？

我已經編寫了myFunction1，但是IntelliJ Idea向我顯示了無法解決compose和andThen函數的錯誤：

Answer 1

AFAIK，您無法以任何有意義的方式從Java獲取TypeTag ，它是由Scala編譯器生成的。 你不得不編譯一些Scala代碼產生TypeTag秒，在這種情況下，它更容易調用udf從那里來代替。

對於Function1 ，答案是擴展AbstractFunction1 ：

new AbstractFunction1<String, Long>() {
    @Override
    Long apply(String x) { ... }
}