如何将 String float 转换为 PySpark 中的 Float？

Question

我有以下 PySpark dataframe：

df = spark.createDataFrame(
    [
        ('31,2', 'foo'),
        ('33,1', 'bar'),
    ],
    ['cost', 'label']
)

我需要将“成本”列设为浮动。 我这样做如下：

df = df.withColumn('cost', df.cost.cast('float'))

但是，结果我得到null值，而不是cost列中的数字。

如何将cost转换为浮点数？

Answer 1

这应该适合你。

df = (df.withColumn('cost', F.regexp_replace(df.cost, ',', '.')
        .withColumn('cost', df.cost.cast('float')))

Answer 2

我认为一个简单的 lambda 表达式应该可以解决大部分问题。

    df.loc[:, 'cost'] = df.cost.apply(lambda x: float(x.replace(',', '.')))