不相等的函数在 PySpark 内连接中不起作用

Question

我有两个数据集，我想加入并找出df1 中有多少数据与 PySpark 中 df2 中的任何数据不匹配

我试过这个代码：

join = df1.join(df2, df1.studyid != df2.studyid, how='inner')

但是这段代码不能正常工作。

请帮我解决这个问题。 有关更多信息，请在聊天中ping我。

谢谢

Answer 1

使用leftanti ：

join = df1.join(df2, df1.studyid == df2.studyid, how='leftanti')

反连接从左关系返回与右关系不匹配的值。 它也被称为左反连接。

更多信息： https : //spark.apache.org/docs/latest/sql-ref-syntax-qry-select-join.html