Spark 从 MSSQL 读取所有表，然后应用 SQL 查询

Question

我有 Spark 3 集群设置。 我在 SQL 服务器中有一些数据，其大小约为 100 GB。 我必须对来自 Spark 集群的数据执行不同的查询。 我已经通过 JDBC 从 Spark 连接到 SQL 服务器并运行示例查询。 现在，我不想在 SQL 服务器上执行查询，而是想在将数据移动/复制到 Spark 集群后运行查询（因为 SQL 服务器花费了太多时间，因此我们使用的是 Spark）。 数据库中大约有 10 个表。

有哪些可能的方法来实现这一目标？

如果我直接从 Spark 执行查询到 SQL 服务器，那么它的瓶颈（在一个系统上运行）会花费太多时间。 有没有更好的方法

Answer 1

您可以从表中并行读取。 （如果您的数据库可以安全地处理负载并且不是您的生产/面向外部的数据库）

 var df = spark.read. format("jdbc"). option("url", "jdbc:db2://<DB2 server>:<DB2 port>/<dbname>"). option("user", "<username>"). option("password", "<password>"). option("dbtable", "<your table>"). option("partitionColumn", "DBPARTITIONNUM(<a column name>)"). option("lowerBound", "<lowest partition number>"). option("upperBound", "<largest partition number>"). option("numPartitions", "<number of partitions>"). load()

这将有助于加快阅读速度。 如果您需要更多信息，请参阅文档。

如果这还不够加快速度，请考虑使用更改数据捕获工具 ZF7B44CFFAFD5C52223D5498196C8A2E7BZ 将数据直接导入 HDFS 以便您的 spark 集群可以使用它。