Spark的通話功能

Question

抱歉，關於Spark的基本問題。 我可以在Spark的調用函數中使用與原始類型不同的Java對象嗎？ 例如，假設我有這樣的事情：

JavaRDD<String> input = sc.textFile(dataFile);
    JavaRDD<String> output;
    output = input.map(new Function<String, String>() { public String call(String s) throws MalformedURLException {
            SystemConfiguration config = new SystemConfiguration();

....

如果我刪除自己的類SystemConfiguratin的實例，它可以正常工作，但是在它里面沒有起作用（Spark因失敗而結束）。 請您能說明一下嗎？ 非常感謝

Answer 1

只要您在轉換中創建的對象是可序列化的或聲明為@transient lazy（對於不可序列化的對象），就可以了。