在Spark-SQL和GeoMesa中的地理空间表上左半联接

Question

问题：

我有2个表（d1和d2）包含地理空间点。 我要执行以下查询：

select * from table 1 where table1.point is within 50km of any point in table2.point

我正在使用带有GeoMesa和Accumulo Spark-SQL来实现相同的目的。 （火花作为处理引擎，Accumulo作为数据存储和GeoMesa用于GeoSpatial库）。

上面的查询是一种left semi join Spark-SQL但是我不确定如何使用Spark-SQL来实现它，因为就我所读取的子查询而言，无法在where子句中使用。

Answer 1

能够使用以下方法实现此目的：

select * from d1 left semi join d2 on st_contains(st_bufferPoint(d1.point, 10000.0), d2.point)

Spark广播了d2并正在进行加入，但由于d1的规模为50亿，d2的规模为1000万，因此仍需要花费更多时间。

不知道是否有任何更有效的方法可以达到相同目的。