簡體 English 中英

如何檢查查詢是否從數據塊下推到雪花？

[英]How to check if query is pushed down from databricks to snowflake?

原文 2021-11-17 11:34:48 6 1 python/ pyspark/ snowflake-cloud-data-platform/ azure-databricks

我正在嘗試使用從數據塊到雪花的查詢下推。 我正在從雪花（數據源）讀取數據到數據塊，創建數據框並應用連接、過濾和聚合函數。 代碼運行良好，但無法找到查詢是否被推送到雪花。 如何檢查查詢是否已在雪花或 spark(databricks) 集群上運行？

1 個解決方案

至少這兩種方式：

使用 Snowflake UI 中的History查看查詢是否在 Snowflake 端運行。
通過將上下文設置為 DEBUG，在 Spark 連接器上啟用調試模式：
sc.setLogLevel('DEBUG')

如何將 pandas df 從 Azure 數據塊寫入雪花？

[英]How to write pandas df to snowflake from Azure databricks?

如何在 Python 3 中的 Databricks 中使用 python 雪花連接器連接到雪花？

[英]How to connect to Snowflake using python snowflake connector from within Databricks in Python 3?

從 Azure Databricks 描述雪花表

[英]Describe Snowflake table from Azure Databricks

從jupyter查詢雪花

[英]query snowflake from jupyter

如何檢查 docker 圖像是否從 python 腳本成功推送

[英]How to check if a docker image was pushed successfully from python script

如何更改雪花中的雪花異步查詢超時？

[英]How to change snowflake async query timeout in snowflake?

如何檢查雪花中的空 JSON

[英]How to check empty JSON in snowflake

Databricks 中的雪花 Python 連接器錯誤

[英]Snowflake Python Connector error in Databricks

來自 Kafka 端點的 Databricks 流式查詢

[英]Databricks streaming query from Kafka endpoint

如何從 Databricks 發送電子郵件

[英]How to Send Emails From Databricks

暫無

暫無

聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

相關問題 如何將 pandas df 從 Azure 數據塊寫入雪花？如何在 Python 3 中的 Databricks 中使用 python 雪花連接器連接到雪花？從 Azure Databricks 描述雪花表從jupyter查詢雪花如何檢查 docker 圖像是否從 python 腳本成功推送如何更改雪花中的雪花異步查詢超時？如何檢查雪花中的空 JSON Databricks 中的雪花 Python 連接器錯誤來自 Kafka 端點的 Databricks 流式查詢如何從 Databricks 發送電子郵件

相關標簽

粵ICP備18138465號 © 2020-2024 STACKOOM.COM