Spark Arrow，toPandas（）和廣泛的轉型

Question

使用箭頭優化時，toPandas（）實際做什么？

生成的pandas數據框是否可以安全地在pandas數據框上進行廣泛的轉換（需要數據改組）。 .merge操作？ 分組和聚合呢？ 我應該期望什么樣的性能限制？

我試圖盡可能地將Pandas數據框標准化，因為它易於進行單元測試，並且可以與內存中對象互換，而無需啟動可怕的spark實例。

Answer 1

toPandas()接收spark數據 toPandas()對象，並將客戶端驅動程序計算機上的所有分區拉為pandas數據框 。 對這個新對象（ pandas dataframe ）的任何操作都將在使用python的單台計算機上運行，​​因此無法進行廣泛的轉換，因為您不再使用Spark Cluster分布式計算（即，沒有分區/工人節點的交互）。