不相等的函數在 PySpark 內連接中不起作用

Question

我有兩個數據集，我想加入並找出df1 中有多少數據與 PySpark 中 df2 中的任何數據不匹配

我試過這個代碼：

join = df1.join(df2, df1.studyid != df2.studyid, how='inner')

但是這段代碼不能正常工作。

請幫我解決這個問題。 有關更多信息，請在聊天中ping我。

謝謝

Answer 1

使用leftanti ：

join = df1.join(df2, df1.studyid == df2.studyid, how='leftanti')

反連接從左關系返回與右關系不匹配的值。 它也被稱為左反連接。

更多信息： https : //spark.apache.org/docs/latest/sql-ref-syntax-qry-select-join.html