PySpark - 获取第一列的每一行

Question

我正在尝试遍历以下 output 第一列的每一行。

假设表 Employees 有 3 列：FirstName、MiddleName、LastName

table1=spark.sql("Select * from Employees")

Answer 1

如果您的表足够小，那么collect将是最好的table1.select('FirstName').collect()

但是，请记住， collect不可扩展，因为它使用单台机器而不是将工作负载分配给工作人员。