Spark 中的 Kryo 與編碼器與 Java 序列化？

Question

哪種序列化用於哪種情況，
從火花文檔它說：
它提供了兩個序列化庫：
1. Java（默認）和
2. 克里奧
現在編碼器從何而來，為什么沒有在文檔中給出。
而且從 databricks 中可以看出，編碼器對於數據集的執行速度更快，RDD 怎么樣，以及如何將所有這些映射結合在一起。 在哪種情況下我們應該使用哪個序列化器？

Answer 1

• Encoders僅用於Dataset集中。
• Kryo在 spark 內部使用。
• 您可以使用Kryo和Java序列化來進行數據改組。

至於您應該使用哪個 - 如果您不使用Dataset Kryo是您的最佳選擇。 否則，您實際上沒有任何選擇。