使用来自 spark 的 jdbc 驱动程序查询 ibm db2 时，如何设置“仅用于获取”？

Question

我有一些代码可以查询 db2 数据库，如果我不包含“仅用于获取”，该数据库可以正常工作，但如果包含，则会返回错误。 我想知道它是否已经完成，或者我如何设置它。

connection_url = f"jdbc:db2://{host}:{port}/{database}:user={username};password={password};"

  df = (spark
    .read
    .format("jdbc")
    .option("driver", "com.ibm.db2.jcc.DB2Driver")
    .option("url",connection_url)
    .option("query",query)
    .load())
  return(df)

当我仅包含获取时出错：

com.ibm.db2.jcc.am.SqlSyntaxErrorException: DB2 SQL Error: SQLCODE=-104, SQLSTATE=42601, SQLERRMC=for;

详细的是：

/databricks/spark/python/pyspark/sql/readwriter.py in load(self, path, format, schema, **options)
    162             return self._df(self._jreader.load(self._spark._sc._jvm.PythonUtils.toSeq(path)))
    163         else:
--> 164             return self._df(self._jreader.load())
    165 
    166     def json(self, path, schema=None, primitivesAsString=None, prefersDecimal=None,

/databricks/spark/python/lib/py4j-0.10.9.1-src.zip/py4j/java_gateway.py in __call__(self, *args)
   1302 
   1303         answer = self.gateway_client.send_command(command)
-> 1304         return_value = get_return_value(
   1305             answer, self.gateway_client, self.target_id, self.name)
   1306 

/databricks/spark/python/pyspark/sql/utils.py in deco(*a, **kw)
    115     def deco(*a, **kw):
    116         try:
--> 117             return f(*a, **kw)
    118         except py4j.protocol.Py4JJavaError as e:
    119             converted = convert_exception(e.java_exception)

/databricks/spark/python/lib/py4j-0.10.9.1-src.zip/py4j/protocol.py in get_return_value(answer, gateway_client, target_id, name)
    324             value = OUTPUT_CONVERTER[type](answer[2:], gateway_client)
    325             if answer[1] == REFERENCE_TYPE:
--> 326                 raise Py4JJavaError(
    327                     "An error occurred while calling {0}{1}{2}.\n".
    328                     format(target_id, ".", name), value)

Py4JJavaError: An error occurred while calling o4192.load.
: com.ibm.db2.jcc.am.SqlSyntaxErrorException: DB2 SQL Error: SQLCODE=-104, SQLSTATE=42601, SQLERRMC=for;
                 
;), DRIVER=4.25.13
    at com.ibm.db2.jcc.am.b6.a(b6.java:810)
    at com.ibm.db2.jcc.am.b6.a(b6.java:66)
    at com.ibm.db2.jcc.am.b6.a(b6.java:140)
    at com.ibm.db2.jcc.am.k3.c(k3.java:2824)
    at com.ibm.db2.jcc.am.k3.d(k3.java:2808)
    at com.ibm.db2.jcc.am.k3.a(k3.java:2234)
    at com.ibm.db2.jcc.am.k4.a(k4.java:8242)
    at com.ibm.db2.jcc.t4.ab.i(ab.java:206)
    at com.ibm.db2.jcc.t4.ab.b(ab.java:96)
    at com.ibm.db2.jcc.t4.p.a(p.java:32)
    at com.ibm.db2.jcc.t4.av.i(av.java:150)
    at com.ibm.db2.jcc.am.k3.al(k3.java:2203)
    at com.ibm.db2.jcc.am.k4.bq(k4.java:3730)
    at com.ibm.db2.jcc.am.k4.a(k4.java:4609)
    at com.ibm.db2.jcc.am.k4.b(k4.java:4182)
    at com.ibm.db2.jcc.am.k4.bd(k4.java:780)
    at com.ibm.db2.jcc.am.k4.executeQuery(k4.java:745)
    at org.apache.spark.sql.execution.datasources.jdbc.JDBCRDD$.getQueryOutputSchema(JDBCRDD.scala:68)
    at org.apache.spark.sql.execution.datasources.jdbc.JDBCRDD$.resolveTable(JDBCRDD.scala:58)
    at org.apache.spark.sql.execution.datasources.jdbc.JDBCRelation$.getSchema(JDBCRelation.scala:241)
    at org.apache.spark.sql.execution.datasources.jdbc.JdbcRelationProvider.createRelation(JdbcRelationProvider.scala:36)
    at   org.apache.spark.sql.execution.datasources.DataSource.resolveRelation(DataSource.scala:385)
    at org.apache.spark.sql.DataFrameReader.loadV1Source(DataFrameReader.scala:356)
    at org.apache.spark.sql.DataFrameReader.$anonfun$load$2(DataFrameReader.scala:323)
    at scala.Option.getOrElse(Option.scala:189)
    at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:323)
    at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:222)
    at sun.reflect.GeneratedMethodAccessor704.invoke(Unknown Source)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:244)
    at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:380)
    at py4j.Gateway.invoke(Gateway.java:295)
    at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
    at py4j.commands.CallCommand.execute(CallCommand.java:79)
    at py4j.GatewayConnection.run(GatewayConnection.java:251)
    at java.lang.Thread.run(Thread.java:750)

我搜索了 ibm 的文档，并使用我能想到的每一种可能的排列来进行堆栈溢出。

我已经阅读了有关设置隔离级别的文档，因为在with ur运行查询时我也遇到了失败，并且我想如果我能找出失败的原因，我就会理解为什么for fetch only失败，（有一个答案here ) 但它把事情弄得一团糟，因为我不能用它来找到一个类似的解决方案for fetch only

我查看了 ibm 网站上的 db2 文档，并搜索了堆栈溢出，但这让我难以理解。

编辑：运行和不运行的查询

在 dbvisualizer 和 pyspark 中运行

select
  id_number
from
  myschema.mytable
FETCH FIRST
  10 ROWS ONLY

另一个

select
  id_number
from
  myschema.mytable

在 dbvisualizer 中运行，但不在 pyspark 中运行

select
  id_number
from
  myschema.mytable
FETCH FIRST
  10 ROWS ONLY FOR FETCH ONLY

另一个

select
  id_number
from
  myschema.mytable
FOR FETCH ONLY

编辑 2：

一个例子是我运行这段代码：

connection_url = f"jdbc:db2://{host}:{port}/{database}:user={username};password={password};"

  df = (spark
    .read
    .format("jdbc")
    .option("driver", "com.ibm.db2.jcc.DB2Driver")
    .option("url",connection_url)
    .option("query","""
    select
      id_number
    from
      myschema.mytable
    FOR FETCH ONLY
""")
    .load())
  return(df)

它不起作用。 然后我运行这段代码：

connection_url = f"jdbc:db2://{host}:{port}/{database}:user={username};password={password};"

  df = (spark
    .read
    .format("jdbc")
    .option("driver", "com.ibm.db2.jcc.DB2Driver")
    .option("url",connection_url)
    .option("query","""
    select
      id_number
    from
      myschema.mytable
    -- FOR FETCH ONLY
""")
    .load())
  return(df)

它确实有效。 然后我进入 dbvisualizer，并验证查询的两个版本都有效，所以据我所知这不是语法错误。

dbvisualizer 说数据库主要版本是 12，次要版本是 1，我相信它是 z/os。 我在 pyspark 和从 maven 下载的 dbvisualizer 中使用 jdbc 驱动程序版本4.25.13

编辑 3：

此查询在 db visualizer 中运行良好，但在 pyspark 中失败。

    select
      id_number
    from
      myschema.mytable
    FOR READ ONLY

Answer 1

好吧。 我发现发生了什么事。 tl;dr：spark 已经做到了。

这里的文档指出：

将用于将数据读入 Spark 的查询。 指定的查询将被括起来并用作 FROM 子句中的子查询。 Spark 还会为子查询子句分配一个别名。 例如，spark 将向 JDBC 源发出以下形式的查询。

SELECT FROM (<user_specified_query>) spark_gen_alias

我相当确定相关代码在这里：

    val sqlText = options.prepareQuery +
      s"SELECT $columnList FROM ${options.tableOrQuery} $myTableSampleClause" +
      s" $myWhereClause $getGroupByClause $getOrderByClause $myLimitClause $myOffsetClause"

所以FOR FETCH ONLY落在子查询中，DB2是不允许的。

幸运的是，它看起来像设置了 CONCUR_READ_ONLY jdbc 选项，这相当于FOR READ ONLY per documentation here

JDBC设置	Db2® 游标设置	IBM Informix® 游标设置
CONCUR_READ_ONLY	只读	只读
CONCUR_UPDATABLE	更新	更新
HOLD_CURSORS_OVER_COMMIT	保留	保留
TYPE_FORWARD_ONLY	未指定滚动	未指定滚动
TYPE_SCROLL_INSENSITIVE	感应式卷轴	滚动
TYPE_SCROLL_SENSITIVE	SENSITIVE STATIC、SENSITIVE DYNAMIC 或 ASENSITIVE，具体取决于 cursorSensitivity Connection 和 DataSource 属性	不支持