将一个两列dataframe转换成自变量直接调用

Question

我有一个小的df ，它由两列组成，一个描述和一个值：

 description|               value|
+--------------+--------------------+
|   PED_tobacco|                 0.4|
|PED_nontobacco|                1.49|
|           GMI|    17590.8855333196|
|       CMO_NGP|             53389.0|
|             A|                80.3|
|         SC_TT|              -0.146|
|        SC_THP|              -0.056|
|       SC_ENDS|              -0.007|
|      SC_CF_PD|              -0.002|
|      SC_CF_FF|              -0.031|
|      CO2_comb|             1.23E-6|
|   CO2_lighter|2.083000000000000...|
|   Carbon_Cost|               114.0|
|     PR_SDG12A|               -0.05|
|     PR_SDG12B|               -0.01|
|       PR_SDG3|                 0.0|
|      PR_SDG14|               -0.27|
|EDEVICE_SDG12A|               -0.01|
|EDEVICE_SDG12B|               -0.05|
|  EDEVICE_SDG3|               -0.01|
+--------------+--------------------+

我一直在尝试找到一种方法来转换每一行，在一个独立定义的变量中，以便我可以直接引用它。 例如，我希望能够说PED_tobacco * 10 ，然后返回40 。

我尝试将其转换为字典list （至少这是我可以用我的python背景解释它的方式），使用：

ass_dict = df_assumptions \
    .rdd \
    .map(lambda row: {row[0]: row[1]}) \
    .collect()

# Which prints:
{'PED_tobacco': 0.4}, {'PED_nontobacco': 1.49}, {'GMI': 17590.8855333196}, {'CMO_NGP': 53389.0}, {'A': 80.3}, {'SC_TT': -0.146}, {'SC_THP': -0.056}, {'SC_ENDS': -0.007}, {'SC_CF_PD': -0.002}, {'SC_CF_FF': -0.031}, {'CO2_comb': 1.23e-06}, {'CO2_lighter': 2.0830000000000002e-08}, {'Carbon_Cost': 114.0}, {'PR_SDG12A': -0.05}, {'PR_SDG12B': -0.01}, {'PR_SDG3': 0.0}, {'PR_SDG14': -0.27}, {'EDEVICE_SDG12A': -0.01}, {'EDEVICE_SDG12B': -0.05}, {'EDEVICE_SDG3': -0.01}, {'EDEVICE_SDG14': 0.0}, {'TL_GL': 1.0}, {'TL_GR': 0.0}, {'EW_GL': 0.83}]

但我仍然无法独立访问每个变量。 在python我这样做使用：

def convert_to_var(df):
    desc = []
    val = []  
    
    for i,row in df.iterrows():
        desc.append(i)
        val.append(row) 
        
    return dict(val)

val_dict = convert_to_var(IA)
globals().update(val_dict)

有没有办法在 Spark 中做同样的事情？ 如何将每个描述作为一个单独的变量作为一个值来直接调用？ 提前致谢。

Answer 1

您可以组合收集的字典列表。 但是，拥有可变变量是一个非常糟糕的主意。 最好直接使用字典，您将从代码中创建。

dict_list = df_assumptions \
    .rdd \
    .map(lambda row: {row[0]: row[1]}) \
    .collect()

val_dict = {k: v for d in dict_list for (k, v) in d.items()}
globals().update(val_dict)

# Or you can do
for d in dict_list:
    globals().update(d)