繁体 English 中英

如何检查查询是否从数据块下推到雪花？

[英]How to check if query is pushed down from databricks to snowflake?

原文 2021-11-17 11:34:48 6 1 python/ pyspark/ snowflake-cloud-data-platform/ azure-databricks

我正在尝试使用从数据块到雪花的查询下推。 我正在从雪花（数据源）读取数据到数据块，创建数据框并应用连接、过滤和聚合函数。 代码运行良好，但无法找到查询是否被推送到雪花。 如何检查查询是否已在雪花或 spark(databricks) 集群上运行？

1 个解决方案

至少这两种方式：

使用 Snowflake UI 中的History查看查询是否在 Snowflake 端运行。
通过将上下文设置为 DEBUG，在 Spark 连接器上启用调试模式：
sc.setLogLevel('DEBUG')

如何将 pandas df 从 Azure 数据块写入雪花？

[英]How to write pandas df to snowflake from Azure databricks?

如何在 Python 3 中的 Databricks 中使用 python 雪花连接器连接到雪花？

[英]How to connect to Snowflake using python snowflake connector from within Databricks in Python 3?

从 Azure Databricks 描述雪花表

[英]Describe Snowflake table from Azure Databricks

从jupyter查询雪花

[英]query snowflake from jupyter

如何检查 docker 图像是否从 python 脚本成功推送

[英]How to check if a docker image was pushed successfully from python script

如何更改雪花中的雪花异步查询超时？

[英]How to change snowflake async query timeout in snowflake?

如何检查雪花中的空 JSON

[英]How to check empty JSON in snowflake

Databricks 中的雪花 Python 连接器错误

[英]Snowflake Python Connector error in Databricks

来自 Kafka 端点的 Databricks 流式查询

[英]Databricks streaming query from Kafka endpoint

如何从 Databricks 发送电子邮件

[英]How to Send Emails From Databricks

暂无

暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 如何将 pandas df 从 Azure 数据块写入雪花？如何在 Python 3 中的 Databricks 中使用 python 雪花连接器连接到雪花？从 Azure Databricks 描述雪花表从jupyter查询雪花如何检查 docker 图像是否从 python 脚本成功推送如何更改雪花中的雪花异步查询超时？如何检查雪花中的空 JSON Databricks 中的雪花 Python 连接器错误来自 Kafka 端点的 Databricks 流式查询如何从 Databricks 发送电子邮件

相关标签

粤ICP备18138465号 © 2020-2024 STACKOOM.COM