如何將 numpy 二維數組插入單個 pyspark dataframe 單元

Question

我正在嘗試將整個 numpy 二維數組插入單個 pyspark 行...有人知道如何實現嗎？

最終我希望能夠實現以下目標.. 我的 numpy 陣列在單行中

我曾嘗試使用更高階的 function 來執行此操作，但到目前為止還無法使其正常工作。 有人有建議嗎？

import pyspark.sql.functions as f
import numpy as np

df = spark.createDataFrame(np.array([[0.        , 0.67235401, 0.35767577],
       [0.67235401, 0.        , 0.2981656 ],
       [0.35767577, 0.2981656 , 0.        ]]))

expr = "TRANSFORM(arrays_zip(*), x -> struct(*))"
df = sms.withColumn('array', f.expr(expr))

df.show(truncate=False)

Answer 1

給定一個numpy.array ，它可以轉換為 PySpark Dataframe 在將數組轉換為 Z23EEEB4347BDD726BDZFC6B7EE 列表后。

工作示例

import numpy as np

np_array = np.array([[0.        , 0.67235401, 0.35767577],
       [0.67235401, 0.        , 0.2981656 ],
       [0.35767577, 0.2981656 , 0.        ]])

df = spark.createDataFrame([(np_array.tolist(), )], ("array", ))

df.show(truncate=False)

Output

+-------------------------------------------------------------------------------------------+
|array                                                                                      |
+-------------------------------------------------------------------------------------------+
|[[0.0, 0.67235401, 0.35767577], [0.67235401, 0.0, 0.2981656], [0.35767577, 0.2981656, 0.0]]|
+-------------------------------------------------------------------------------------------+