有沒有辦法在 Databricks SQL (Spark SQL) 中按表、模式和目錄計算行數？
[英]Is there a way to calculate the number of rows by table, schema and catalog in Databricks SQL (Spark SQL)?
原文
2023-01-02 15:10:56
8
1
apache-spark/
apache-spark-sql/
databricks/
azure-databricks/
databricks-sql
問題描述
我需要在 Databricks 中創建一個儀表板，用於匯總當前工作區中的行數。
有沒有辦法創建一個 SQL 查詢來按表、模式和目錄計算行數？ 預期結果將是：
| 目錄 | 圖式 | 桌子 | 行數 |
|---|---|---|---|
| example_catalog_1 | 金融 | 表_示例_1 | 1567000 |
| example_catalog_1 | 金融 | 表_示例_2 | 67000 |
| example_catalog_2 | 采購 | 表_示例_1 | 45324888 |
| example_catalog_2 | 采購 | 表_示例_2 | 89765987 |
| example_catalog_2 | 采購 | 表_示例_3 | 145000 |
目前，我正在研究純 SQL 工作流程。 所以我想了解是否可以使用 SQL 執行這樣的操作，因為據我所知，Databricks 中的儀表板不接受 PySpark 代碼。
我正在尋找一種方法來做到這一點。 我知道可以使用system.information_schema.tables訪問工作區中的表，但是如何使用它來計算那里顯示的每個表的總行數？
我正在通過 SQL 服務器檢查是否可以通過sys schema 、 dynamic query或BEGIN...END子句。 我在 Databricks 中找不到這樣做的方法。
1 個解決方案
解決方案1
1 2023-02-01 03:07:55
我非常懷疑您是否可以在數據塊儀表板中運行這種查詢。 @Sharma 共享的鏈接更多是關於如何使用 dataframe 獲取記錄計數，而不是如何將其與數據塊儀表板鏈接。
如何在 Databricks 的 Iceberg 表上執行 Spark SQL 合並語句？
[英]How to execute a Spark SQL merge statement on an Iceberg table in Databricks?
如何使用 Databricks 的 Apache Spark 從 SQL 表中獲取 stream 數據
[英]How to stream data from SQL Table with Apache Spark with Databricks
使用 Apache Spark 在 Databricks 中使用 SQL 查詢進行 CASTING 問題
[英]CASTING issue with SQL query in Databricks with Apache Spark
將 data.table 從 Databricks dbfs 導出到 azure sql 數據庫
[英]Export data table from Databricks dbfs to azure sql database
如何根據組數而不是行數限制表結果？ - SQL
[英]How to limit table results based on number of groups instead of number of rows? - SQL
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
相關問題
在Databricks中，SQL使用spark？
在 Azure Databricks 中加載到 SQL 表的最快方法
如何在 Databricks 的 Iceberg 表上執行 Spark SQL 合並語句？
如何使用 Databricks 的 Apache Spark 從 SQL 表中獲取 stream 數據
使用 Apache Spark 在 Databricks 中使用 SQL 查詢進行 CASTING 問題
如何從 SQL 上的現有表在數據塊中創建表
將 data.table 從 Databricks dbfs 導出到 azure sql 數據庫
如何根據組數而不是行數限制表結果？ - SQL
使用 spark sql 寫入增量表
根據日期字段拆分表中的行 SQL
相關標簽