如何在 Pyspark 中处理包含 SQL 逻辑的 Table.column

Question

例如：

表 - 映射表

Col1	Col2	映射逻辑
一	二	SELECT * 来自 TableX
一	二	SELECT * FROM TableX X Left Outer Join TableY Y on X.id=Y.ID

其他表 - TableX 和 TableY

如何在 Pyspark dataframe 中使用此映射表并使用 MappingLogic 列构建我的逻辑？

Answer 1

不确定您期待什么样的答案，但通常您可以在pyspark代码中使用 sql 表达式。 你只需要先在你的表上创建视图：

spark.read \
    .jdbc("jdbc:postgresql:dbserver", "tableX",
          properties={"user": "username", "password": "password"}).createOrReplaceTempView("tableX")

# Later you get sql-expression from your mapping logic table and execute it:
s = "SELECT * FROM TableX"
df = spark.sql(s)