cursor.execute() 从数据块表中插入值

Question

我想用 cursor 将 sqldb 表中一列的值填充到 databricks 中，并加入 datalake 表中同一列的值。

我使用游标从 databricks 中的 sqldb 调用了一个表（将其称为 table1）

cursor = access_token.cursor()
cursor.execute('SELECT label_name,unit FROM [dbo].[table1]')

我还有另一个来自数据湖的表（我称之为表 2）

df = spark.sql("select distinct label_name,unit from aod.table2 where unit is not null")

table1中的单位值都是NULL，所需的单位值在table2中都有。

我需要在 label_name 上连接那些 table1 和 table2，以使用 table2 中的单位值填充表 1 中单位列的 NULL 值。

我想要的结果

任何人都可以提出任何想法来完成这个？

任何帮助将非常感激！

Answer 1

根据我的 repro，我根据您的要求创建了两个数据帧名称 df1 => table1 和 df2 = table2。

如上所示，将两个表读入 dataframe 并应用内部联接，如下所示：

df = df1.join(df2, df2.label_name == df1.label_name, "inner").select(df2.label_name,df2.unit)
 display(df)

现在您可以将 dataframe 转换为 SQLDB 中的表，如下所示：

您可以从 SQL 端点验证相同内容：