編寫Java JAR以獲得火花

Question

抱歉，這似乎是一個愚蠢的問題。 我需要為其他人的Spark應用程序編寫一個非常簡單的String處理函數，但是我對Spark的經驗有限/沒有經驗。 有人告訴我我可以用Java編寫並提供jar文件。

我對設計看起來有些困惑嗎？ 如果我僅創建一個包含該方法的標准類（沒有任何特定於Spark的代碼），它將起作用嗎？ 導入jar后，如何從（Scala）Spark應用程序初始化/調用此方法？

Answer 1

無需添加任何Spark細節（除非您需要使用Spark類）。 這是一個例子：

evan@vbox:~> cat MyClass.java
public class MyClass
{
    public static int add(int x, int y)
    {
        return x + y;
    }
}
evan@vbox:~> javac MyClass.java
evan@vbox:~> jar cvf MyJar.jar MyClass.class
added manifest
adding: MyClass.class(in = 244) (out= 192)(deflated 21%)
evan@vbox:~> spark --jars ./MyJar.jar
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.0.1
      /_/

Using Scala version 2.11.8 (OpenJDK 64-Bit Server VM, Java 1.8.0_111)
Type in expressions to have them evaluated.
Type :help for more information.

scala> MyClass.add(2,3)
res0: Int = 5

在這種情況下，Scala能夠將scala.Int用作Java原語int因此沒有Scala / Java互操作性考慮。 根據您的功能，您可能需要考慮這一點，但這是Scala-Java問題，而不是Spark問題。