在Spark中基於JavaRDD過濾JavaPairRDD

Question

我是Apache Spark的新手。 我需要針對以下問題的Java解決方案：

JavaPairRDD:        JavaRDD:           Desired Output:

1,USA               France             2,England
2,Engand            England            3,France
3,France
4,Italy 

編輯：坦率地說，我不知道我可以嘗試什么。 就像我說的那樣，我是新手。 我只是以為我可以使用像inssectionsection這樣的方法。 但是它需要另一個JavaPairRDD對象。 我認為過濾器方法不適用於此問題。 例如，

Function<Tuple2<String, String>, Boolean> myFilter =
  new Function<Tuple2<String, String>, Boolean>() {
    public Boolean call(Tuple2<String, String> keyValue)
      {
        return ("some boolean expression");
      }
    };
myPairRDD.filter(myFilter);

我不知道我可以寫什么樣的布爾表達式，而不是上面函數中的“某些布爾表達式”。 抱歉，我的英語不好。

Answer 1

至少有三個選項：

• 映射JavaRDD到JavaPairRDD任意值， join和map下降虛擬值
• 如果JavaRDD的唯一值數量很少，請collect distinct值，轉換為Set ， broadcast並使用它filter JavaPairRDD
• 將兩個RDDs都RDDs為DataFrames並使用內部DataFrames然后使用drop / select 。