PySpark 数据帧架构动态传递

Question

我有一个像下面这样的火花数据框：

           >>> df2.show() 
           +--------------------+                                                          
           |               value|
           +--------------------+
           |[Name, Number, Sa...|
           |        [A, 1, 2000]|
           |        [B, 2, 3000]|
           |        [C, 3, 4000]|
            +--------------------+

现在我试图删除列名作为值并获得如下架构

           +--------+--------+--------+                                                    
           |Name    |Number  |  Salary|
           +--------+--------+--------+
           |       A|       1|    2000|
           |       B|       2|    3000|
           |       C|       3|    4000|
           +--------+--------+--------+

我使用的代码如下：

  length = len(df2.select('value').take(1)[0][0])
  df2.select([df2.value[i] for i in range(length)]).show()

我得到的输出如下，这是不正确的

          +--------+--------+--------+                                                    
          |value[0]|value[1]|value[2]|
          +--------+--------+--------+
          |    Name|  Number|  Salary|
          |       A|       1|    2000|
          |       B|       2|    3000|
          |       C|       3|    4000|
          +--------+--------+--------+

使用过 spark 版本 - 2.4.0 ，Python 版本 - 3.6.12

感谢您的支持