如何使用 pyspark 将两列值组合到另一列？

Question

这是我用于 map 值的代码，从 csv 到 aws 胶水中 sql 中的表。

mappings=[
        ("houseA", "string", "villa", "string"),
        ("houseB", "string", "small_house", "string"),
        ("houseA"+"houseB", "string", "combined_key", "string"),
    ],

我发现将houseA 和houseB 分别映射到“villa”和“small_house”列没有问题。 但是当我尝试在“combined_key”列中有houseAhouseB时，它给了我这个错误。

调用 o128.pyWriteDynamicFrame 时出错。 无法将值 NULL 插入到列“combined_key”、表“dbo.Buildings”中； 列不允许空值。 插入失败。

我不太明白为什么它会返回 null 错误。

关于如何修改代码的任何想法？

提前致谢。

Answer 1

实际上，我发现胶水工作室中有一个自定义转换可用，我们可以使用 pyspark 代码实现此目的