pyspark 方法 toPandas 内部

Question

pyspark topandas如何在内部工作。 我知道可以使用 topandas 方法将 Spark DataFrame 转换为 Pandas DataFrame 作为 spark_df.toPandas。

触发方法topandas ，它是将所有数据拉到驱动程序并转换为 pandas 数据帧，还是在工作程序中发生转换，而 Pandas 数据帧将在本地创建到工作程序节点？

Answer 1

Pandas 数据帧不是分布式的。 toPandas()将导致数据帧行被收集到驱动程序，然后转换为一个 Pandas 数据帧，如文档中所述：

toPandas()
收集所有行并返回一个 pandas.DataFrame。

因此，所有关于将数据收集到单个节点（在本例中为驱动程序）的toPandas也适用于toPandas 。