Spark SQL在使用Java創建的兩個RDD上聯接

Question

我創建了兩個RDD，並使用java對其進行了持久化。 我已將罐子交給火花大師。 現在，當spark shell提示我輸入查詢時，我已經在兩個RDD上給出了一條SQL語句連接條件。 然后在結果集上執行collect（）時會引發異常。

JOIN條件：從TABLE_1中選擇一個ID作為JOIN TABLE_2。b ON a.NAME = b.NAME；

異常：resultSet.collect（）上的空指針異常

PS：我在resultSet.collect（）之前檢查了結果集是否為null； 但仍然進入條件並引發NPE。 我正在使用spark-sql-1.1.1 jar（最新）。

SPARK SQL中的JOIN是否有問題？

Answer 1

看起來Java Spark API的某些JOIN操作有問題。