一张本地表和一张DB表的join操作背后的机制

Question

当我从本地RDD注册一张表和从DB注册一张表时，我发现两个表之间的连接操作真的很慢。

来自DB的表实际上是一个有多个join操作的SQL，本地RDD只有20条记录。

我很好奇它背后的机制。

我们是否从远程数据库中提取数据并在本地 Spark 集群中执行所有任务？

或者我们是否有一个“有趣的”SQL 引擎来向数据库发送优化的查询并等待查询结果返回？ 在我看来，这种方式没有意义，因为查询在 DB 中执行得非常快。

Answer 1

Spark SQL 将在其一侧运行查询。 当你在第一步定义一些表加入查询时，它会在集群中获取表并将它们作为RDD或Dataframe保存在内存中，最后运行一些任务来执行查询操作。

在您的示例中，我们假设第一个 RDD 已经在内存中，但第二个需要获取。 数据源将请求您的 SQL 引擎获取表。 但是在交付表之前，由于它是一个具有多个连接的查询，您的 SQL 引擎将在其一侧运行查询（与 Spark 集群不同）并在表准备好时交付结果。 假设 SQL 引擎需要TA秒来运行查询（在 SQL 客户端中可以看到总结果，而不是最高结果），并且将数据移动到 sql 集群（可能通过网络）需要TB秒。 TA+TB 后第二个数据准备好让 spark 运行。

如果TC是加入操作的时间，则总时间将为total = TA+TB+TC 。 您需要检查瓶颈在哪里。 我认为TB可能是大数据的关键。

但是，当使用具有两个或更多 worker 的集群时，请确保所有节点都参与操作。 有时，由于编码错误，spark 会只使用一个节点进行操作。 确保您的数据分布在集群上，以从数据局部性中受益。