堆栈内存溢出
  简体   繁体   English

如何检查查询是否从数据块下推到雪花？

[英]How to check if query is pushed down from databricks to snowflake?

 原文  2021-11-17 11:34:48  1   1    python/ pyspark/ snowflake-cloud-data-platform/ azure-databricks

问题描述

I'm trying to use query pushdown from databricks to Snowflake.我正在尝试使用从数据块到雪花的查询下推。 I'm reading data from snowflake(data source) to databricks, creating dataframes and applying joins, filter and aggregate functions.我正在从雪花（数据源）读取数据到数据块，创建数据框并应用连接、过滤和聚合函数。 Code is running fine but not able to find if the query is pushed down to snowflake.代码运行良好，但无法找到查询是否被推送到雪花。 How to check if query has run on snowflake or spark(databricks) cluster?如何检查查询是否已在雪花或 spark(databricks) 集群上运行？

1 个解决方案

解决方案1
 0  2021-11-17 12:22:24

At least these 2 ways:至少这两种方式：

  1. Use the History from Snowflake UI to see if the query was run in the Snowflake side.使用 Snowflake UI 中的History查看查询是否在 Snowflake 端运行。

  2. Enable debug mode on Spark connector by setting the context to DEBUG:通过将上下文设置为 DEBUG，在 Spark 连接器上启用调试模式：

    sc.setLogLevel('DEBUG') sc.setLogLevel('DEBUG')

暂无
暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 如何将 pandas df 从 Azure 数据块写入雪花？ - How to write pandas df to snowflake from Azure databricks? 如何在 Python 3 中的 Databricks 中使用 python 雪花连接器连接到雪花？ - How to connect to Snowflake using python snowflake connector from within Databricks in Python 3? 从 Azure Databricks 描述雪花表 - Describe Snowflake table from Azure Databricks 从jupyter查询雪花 - query snowflake from jupyter 如何检查 docker 图像是否从 python 脚本成功推送 - How to check if a docker image was pushed successfully from python script 如何更改雪花中的雪花异步查询超时？ - How to change snowflake async query timeout in snowflake? 如何检查雪花中的空 JSON - How to check empty JSON in snowflake Databricks 中的雪花 Python 连接器错误 - Snowflake Python Connector error in Databricks 来自 Kafka 端点的 Databricks 流式查询 - Databricks streaming query from Kafka endpoint 如何从 Databricks 发送电子邮件 - How to Send Emails From Databricks
相关标签
 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM