Apache Spark Dataframe-设置不相等联接的问题

Question

我有2个数据框正在执行多列联接。 第一对列进行相等比较，第二对列进行不相等比较。 代码如下：

val arule_1w = itemLHS
      .join(itemRHS, itemLHS("CUST_ID") === itemRHS("CUST_ID") && itemLHS("LHS") != itemRHS("RHS")

结果数据仍然具有包含itemLHS（“ LHS”）= itemRHS（“ RHS”）的行，并且不应该使用不相等的联接。 也可能是用户错误，但我的所有研究都告诉我格式正确。 所有数据类型都是字符串值。

谢谢你的帮助！

Answer 1

正确的方法是=!=不是!= 。

Answer 2

在语法下面使用itemLHS（“ LHS”）！== itemRHS（“ RHS”）