Spark JDBC僅返回帶有列名的數據幀

Question

我正在嘗試使用 spark JDBC 連接到 HiveTable，代碼如下：

val df = spark.read.format("jdbc").
  option("driver", "org.apache.hive.jdbc.HiveDriver").
  option("user","hive").
  option("password", "").
  option("url", jdbcUrl).
  option("dbTable", tableName).load()

df.show()

但我得到的回報只是一個帶有修改列名的空數據框，如下所示：

--------------|---------------|
tableName.uuid|tableName.name |
--------------|---------------|

我嘗試以多種方式讀取數據框，但結果總是相同。 我正在使用 JDBC Hive 驅動程序，並且此 HiveTable 位於 EMR 集群中。 代碼也在同一個集群中運行。 任何幫助將不勝感激。 謝謝你們。

Answer 1

請在選項中設置 fetchsize 它應該可以工作。

Dataset<Row> referenceData
            = sparkSession.read()
            .option("fetchsize", "100")
            .format("jdbc")
            .option("url", jdbc.getJdbcURL())
            .option("user", "")
            .option("password", "")
            .option("dbtable", hiveTableName).load();