如何在不實現 Serializable 的情況下在 spark 中使用 map？

Question

我在我的代碼中使用了map()並且它NotSerializableException了一個NotSerializableException ，所以我實現了Serializable 。

有沒有其他方法可以克服這個異常，或者 map 總是使用Serializable嗎？

Dataset<Row> outdf=indf.map(new MapFunction<Row,Row>() {

    @Override
    public Row call(Row row){
          //Calling another function in another class 
 
       return r;//r is also a row
     }
},encoder);

Answer 1

在調用函數內部，如果您使用的是 Mapping 類中的東西（變量，對象），那么這個 Mapping 類需要實現 Serializable。

參考這篇文章。