从 Python Notebook 使用 Markdown 调用 SQL Notebook 会导致“解析异常”

Question

我在 Azure Databricks 中遇到了一个奇怪的问题，如果它包含 markdown 命令，我将无法再%run SQL 笔记本。

除了删除 markdown 命令之外，有谁知道解决方法？

对于其他上下文，这些 SQL 笔记本倾向于生成可能由多个其他笔记本共享的临时视图。

在较旧的 10.4LTS 集群和较新的 11.2 集群上运行此测试。 两个集群的结果相同。 该问题与最近的 databricks UI 更改相对应。

重建步骤：

1. 创建 SQL 笔记本（'Test_SubNotebook'）

   • 命令1。 输入基本的 SQL 命令（例如select 'Test' ）

2. 创建 Python 笔记本（'Test_Notebook'）

   • 命令1。 输入命令： %run './Test_SubNotebook'

3. 运行“Test_Notebook”，它将成功（显示基本的 dataframe 表）

现在来演示这个问题

1. 向“Test_SubNotebook”添加新命令
   • 命令2。 进入

     %md Test Markdown

现在重新运行'Test_Notebook'，它会失败，列出：

Test Markdown
ParseException: 

---------------------------------------------------------------------------
ParseException                            Traceback (most recent call last)
<command-994671275763904> in <module>
      5     display(df)
      6     return df
----> 7   _sqldf = ____databricks_percent_sql()
      8 finally:
      9   del ____databricks_percent_sql

<command-994671275763904> in ____databricks_percent_sql()
      2   def ____databricks_percent_sql():
      3     import base64
----> 4     df = spark.sql(base64.standard_b64decode("JW1kClRlc3QgTWFya2Rvd24=").decode())
      5     display(df)
      6     return df

/databricks/spark/python/pyspark/sql/session.py in sql(self, sqlQuery)
    775         [Row(f1=1, f2='row1'), Row(f1=2, f2='row2'), Row(f1=3, f2='row3')]
    776         """
--> 777         return DataFrame(self._jsparkSession.sql(sqlQuery), self._wrapped)
    778 
    779     def table(self, tableName):

/databricks/spark/python/lib/py4j-0.10.9.1-src.zip/py4j/java_gateway.py in __call__(self, *args)
   1302 
   1303         answer = self.gateway_client.send_command(command)
-> 1304         return_value = get_return_value(
   1305             answer, self.gateway_client, self.target_id, self.name)
   1306 

/databricks/spark/python/pyspark/sql/utils.py in deco(*a, **kw)
    121                 # Hide where the exception came from that shows a non-Pythonic
    122                 # JVM exception message.
--> 123                 raise converted from None
    124             else:
    125                 raise

ParseException: 
mismatched input '%' expecting {'(', 'APPLY', 'CONVERT', 'COPY', 'OPTIMIZE', 'RESTORE', 'ADD', 'ALTER', 'ANALYZE', 'CACHE', 'CLEAR', 'COMMENT', 'COMMIT', 'CREATE', 'DELETE', 'DESC', 'DESCRIBE', 'DFS', 'DROP', 'EXPLAIN', 'EXPORT', 'FROM', 'GRANT', 'IMPORT', 'INSERT', 'LIST', 'LOAD', 'LOCK', 'MAP', 'MERGE', 'MSCK', 'REDUCE', 'REFRESH', 'REPLACE', 'RESET', 'REVOKE', 'ROLLBACK', 'SELECT', 'SET', 'SHOW', 'START', 'SYNC', 'TABLE', 'TRUNCATE', 'UNCACHE', 'UNLOCK', 'UPDATE', 'USE', 'VALUES', 'WITH'}(line 1, pos 0)

== SQL ==
%md
^^^
Test Markdown

Answer 1

这是一个与 dbr 版本无关的已知问题。 The cause for the issue was due to a relatively new feature "implicit df" where we would generate a pyspark dataframe when you are running sql cells within python notebooks.

我们已经有一个修复，它将在 3.82 版本中发布。 带来不便敬请谅解！

这是隐式 df 功能的文档： https://docs.databricks.com/notebooks/notebooks-use.html#implicit-sql-df