PySpark - 獲取第一列的每一行

Question

我正在嘗試遍歷以下 output 第一列的每一行。

假設表 Employees 有 3 列：FirstName、MiddleName、LastName

table1=spark.sql("Select * from Employees")

Answer 1

如果您的表足夠小，那么collect將是最好的table1.select('FirstName').collect()

但是，請記住， collect不可擴展，因為它使用單台機器而不是將工作負載分配給工作人員。