簡體 English 中英

Spark JavaRDD通用參數必須可序列化嗎？

[英]Spark JavaRDD generic parameters must be serializable?

原文 2015-12-28 07:33:59 7 1 java/ apache-spark

如果我使用自定義對象（例如：class foo）JavaRDD創建JavaRDD，則foo類必須實現序列化接口，以便可以在群集上運行它嗎？

1 個解決方案

如果您要確認，則查詢的簡單答案是YES 。

看看這篇文章

所有對象必須可序列化，才能在Spark中用作RDD操作的一部分

但是，如果您遵循上述文章，則可以擊敗Serializaiton。

看看這個相關的SE問題和Spark調整文章

在 Spark JavaRDD 轉換中使用 Serializable lambda

[英]Use Serializable lambda in Spark JavaRDD transformation

將Apache Spark XML轉換為JavaRDD

[英]Apache Spark XML into JavaRDD

spark javaRDD 輸出到數據庫

[英]spark javaRDD output to database

使用JavaRDD進行Spark排序<String>

[英]Spark Sorting with JavaRDD<String>

Spark：JavaRDD <Tuple2> 到JavaPairRDD <>

[英]Spark: JavaRDD<Tuple2> to JavaPairRDD<>

Spark- 將 JavaRDD 保存到 Cassandra

[英]Spark- Saving JavaRDD to Cassandra

在Spark java中將JavaRDD轉換為DataFrame

[英]Converting JavaRDD to DataFrame in Spark java

在Spark中基於JavaRDD過濾JavaPairRDD

[英]Filtering JavaPairRDD based on a JavaRDD in Spark

spark類型不匹配：無法從JavaRDD <Object>轉換為JavaRDD <String>

[英]spark Type mismatch: cannot convert from JavaRDD<Object> to JavaRDD<String>

Spark JavaRDD獲得了作為JavaRDD返回的十個第一個值

[英]Spark JavaRDD get ten first values returned as JavaRDD

暫無

暫無

聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

相關問題 在 Spark JavaRDD 轉換中使用 Serializable lambda 將Apache Spark XML轉換為JavaRDD spark javaRDD 輸出到數據庫使用JavaRDD進行Spark排序<String> Spark：JavaRDD <Tuple2> 到JavaPairRDD <> Spark- 將 JavaRDD 保存到 Cassandra 在Spark java中將JavaRDD轉換為DataFrame 在Spark中基於JavaRDD過濾JavaPairRDD spark類型不匹配：無法從JavaRDD <Object>轉換為JavaRDD <String> Spark JavaRDD獲得了作為JavaRDD返回的十個第一個值

相關標簽

粵ICP備18138465號 © 2020-2024 STACKOOM.COM