Snowpark-Python动态连接

Question

我搜索了大量文档，试图找到我正在尝试做的事情的例子。 我承认更大的问题可能是我缺乏 python 专业知识。 所以我在这里伸出援手，希望有人能指出我正确的方向。 我正在尝试创建一个 python function 来动态查询基于 function 参数的表。 这是我正在尝试做的一个例子：

def validateData(_ses, table_name,sel_col,join_col, data_state, validation_state):
 
    sdf_t1 = _ses.table(table_name).select(sel_col).filter(col('state') == data_state)
    sdf_t2 = _ses.table(table_name).select(sel_col).filter(col('state') == validation_state)
    df_join = sdf_t1.join(sdf_t2, [sdf_t1[i] == sdf_t2[i] for i in join_col],'full')
    return df_join.to_pandas()

这将被称为这样的：

df = validateData(ses,'table_name',[col('c1'),col('c2')],[col('c2'),col('c3')],'AZ','TX')

我遇到的这个问题与函数的第 5 行有关：

df_join = sdf_t1.join(sdf_t2, [col(sdf_t1[i]) == col(sdf_t2[i]) for i in join_col],'full')

我知道代码不正确，但我希望它能解释我正在尝试做的事情。 如果有人对这是否可能或如何进行有任何建议，我将不胜感激。

Answer 1

与其加入数据框，我认为使用直接 SQL 并将数据拉入雪框并将其转换为 pandas 数据框更容易。

from snowflake.snowpark import Session
import pandas as pd

#snow df creation using SQL
data = session.sql("select t1.col1, t2.col2, t2.col2 from mytable t1 full outer join mytable2 t2 on t1.id=t2.id where t1.col3='something'")

#Convert snow DF to Pandas DF. You can use this pandas data frame.
data= pd.DataFrame(data.collect())

Answer 2

本质上，您需要的是从两个变量列表创建一个 python 表达式。 我没有比使用 eval 更好的主意了。

也许尝试eval(" & ".join(["(col(sdf_t1[i]) == col(sdf_t2[i]))" for i in join_col]) 。请注意，我还没有完全测试这个，只是为了抛出一个主意。