[英]PySpark Dataframe has only one partition
我已经从一个大约有60k行的csv文件中加载了一些数据，当我检查它创建的分区数时，它仅显示为1个分区。
当我创建仅包含5行的示例数据框时，它创建了8个分区。
这引发了一个疑问，读取csv文件是否只会将所有数据加载到驱动程序？ 我们是否需要调用parallelise（或其他函数）将数据移至工作程序节点。
即使在数据帧上调用动作后，创建的分区也不超过1个。
下面是屏幕截图：
当 pyspark dataframe 有多个分区时，Teradata 快速加载失败
[英]Teradata fastload fails when pyspark dataframe has more than one partition
如何按 pyspark 中的列对 dataframe 进行分区以进行进一步处理？
[英]How to partition dataframe by column in pyspark for further processing?
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
