堆棧內存溢出
cost 75 ms
Databricks SQL 編輯器“初始化配置失敗”

[英]Databricks SQL Editor "Failure to initialize configuration"

當我嘗試 select SQL 編輯器中的一個特定表中的內容時，我收到錯誤“無法初始化配置”。 查詢很簡單，如select * from table_name 。 還嘗試了限制和/或選擇特定列，但得到了同樣的錯誤。 如果我切換到“數據科學與工程”並使用筆記本中的常規集群執行相同的查詢，一切正常。 ...

使用 spark sql 寫入增量表

[英]Writing to delta table using spark sql

在 python 中，我試圖在 Databricks 的數據庫DB中創建並寫入表TBL 。 但我得到一個例外： A schema mismatch detected writing to the Delta table 。 我的代碼如下，這里df是一個pandas dataframe。 代碼在最后一 ...

py4j.Py4JException：方法集（[class java.lang.String，class java.util.ArrayList]）在Databricks中不存在

[英]py4j.Py4JException: Method set([class java.lang.String, class java.util.ArrayList]) does not exist in Databricks

我正在嘗試使用 Databricks 訪問遠程 S3 存儲桶。 據我了解，這就是我的代碼應該是什么樣子， 嘗試設置 Spark 配置時，我似乎遇到了以下錯誤， 我究竟做錯了什么？ ...

如果我們禁用 keyvault 的公共訪問，如何訪問 Azure 數據工廠

[英]How to Access Azure Data Factory if we disable public access for keyvault

那么，如果我們禁用 keyvault 的公共訪問，我們如何獲取 Azure 數據工廠、邏輯應用程序、Azure Synapse 和 Azure DataBricks 的秘密或密鑰。 我通過使用出站 IP 地址找到了 AppServices 和 FunctionApps 的解決方案，如果我們禁用 ke ...

列出通過 Databricks 中的 Azure VM 托管標識創建的作業運行

[英]List job runs created through Azure VM managed identity in Databricks

我們是否有 python 中的解決方案來列出使用 Azure Databricks 中的 Azure VM 托管身份創建的作業運行。 感謝幫助！ 在 python 中使用托管身份庫時出現 http 403 錯誤from azure.identity import ManagedIdentityCre ...

Databricks SQL Warehouse 報錯：User is not part of org

[英]Error in Databricks SQL Warehouse: User is not part of org

今天嘗試啟動Databricks SQL Warehouse集群，卻收到如下信息： 集群無法啟動。 集群啟動將停止請求創建集群失敗，出現異常：PERMISSION_DENIED：用戶 xxxx 不屬於 org：xxxx 我相信這個錯誤是由於一名高級成員上周離開了我們的團隊。 當他離開時，我們將他從 ...

df to table 拋出錯誤 TypeError: __init__() got multiple values for argument 'schema'

[英]df to table throw error TypeError: __init__() got multiple values for argument 'schema'

我在 pandas 中有 dataframe：- purchase_df。 我想把它轉換成 sql 表，這樣我就可以在 pandas 中執行 sql 查詢。我試過這個方法 它拋出一個錯誤 我有 dataframe 名稱 purchase_df，我需要對其執行 sql 查詢。 我需要像這樣對這個 d ...

在不創建新集群的情況下在 azure 數據塊中執行 spark-submit

[英]Execute spark-submit in azure databricks without creating new cluster

所以，這是我的問題。 我有一個 pyspark 作業存儲在 dbfs 中，因為由於組織策略我無法訪問數據塊存儲庫，並且由於組織策略我無法在再次創建 spark-submit 作業時創建新集群。 他們有什么辦法可以執行 pyspark 作業並將參數傳遞給它嗎？ ...

Azure Databricks的Unity Catalog中的數據分類

[英]Data classification in Unity Catalog of Azure Databricks

問：Azure Databricks中的Unity Catalog是否有分類資產的功能？ 如果是這樣，有人可以提供指向 Unity 目錄中有關此功能的在線文檔的鏈接嗎？ 請看下面的上下文： Unity Catalog是 Lakehouse 的 Azure Databricks 數據治理解決方案。 ...

Databricks 上的 DBT 工作流失敗：object SeedNode 中的 AttributeError

[英]DBT workflow on Databricks fails: AttributeError in object SeedNode

今天我們在數據塊中的 DBT 工作流失敗了。 工作流運行如下： 任何建議可能是錯誤的或如何解決它？ Databricks 日志中報告的版本： 使用 dbt=1.4.1 運行錯誤信息如下： 'SeedNode' object 沒有屬性 'depends_on' 09:59:17 回溯（最近調用 ...

在使用 pandas 在 python 中執行 SQL 查詢時，我遇到了錯誤：TypeError: __init__() got multiple values for argument 'schema'

[英]While performing SQL query in python using pandas i am facing the error : TypeError: __init__() got multiple values for argument 'schema'

在此處輸入圖像描述嘗試在 python 中編譯 sql 查詢。我曾經在 python 中經常這樣做。但我過去從未遇到過這個錯誤。 幫我解決這個問題。 詢問：from pandasql import sqldf import pandas as pd from sklearn import data ...

Pyspark - 如何在 pyspark 中轉換格式為 /Date(1593786688000+0200)/ 的日期/時間戳？

[英]Pyspark - How do I convert date/timestamp of format like /Date(1593786688000+0200)/ in pyspark?

我有一個 dataframe 和 CreateDate 列，格式如下： 我想將該格式轉換為日期/時間戳，因此例外的 output 將是： 我在 SQL 中有這個查詢，它給出了所需的 output 並且可以幫助開發： 誰能幫我實現這個目標？ 謝謝！ ...

從 Oracle 數據庫獲取數據時，PySpark 引發錯誤 (ORA-00933)

[英]PySpark is raising error (ORA-00933) when fetching data from Oracle Database

語境我正在使用 Databricks 連接到 Oracle 數據庫並每天獲取數據。 我們在 PySpark 中使用以下示例代碼來驗證和訪問數據庫： 然后我們使用以下命令通過 SQL 代碼訪問信息： 問題今天我們意識到這種方法會引發如下錯誤： SQLSyntaxErrorException: OR ...

Pyspark - 將結構為 arrays 的列擴展到新列中

[英]Pyspark - Expand column with struct of arrays into new columns

我有一個 DataFrame，它有一個單列，它是一個結構類型並包含一個數組。 我正在嘗試將 CustomFields 數組列轉換為 3 個三列： 國家; 是外部的； 服務。 因此，例如，我有這些值： 並且除該行之外的最終 dataframe output 將是： 誰能幫我實現這個目標？ 謝謝！ ...

使用 Azure Databricks Feature Store Client 在啟用了統一目錄的工作區上將功能發布到 cosmos dB

[英]Publish features to cosmos dB using Azure Databricks Feature Store Client fails on workspace with unity catalog enabled

我們正在嘗試使用 cosmosdb 創建一個在線特征存儲，遵循這個文檔： https://learn.microsoft.com/en-us/azure/databricks/machine-learning/feature-store/publish-features 。 但是當我將表發布到 c ...

我們可以一起使用 Microsoft Purview 和 Unity Catalog 嗎

[英]Can we use Microsoft Purview and Unity Catalog together

Unity Catalog是 Lakehouse 的 Azure Databricks 數據治理解決方案。 鑒於Microsoft Purview提供統一的數據治理解決方案，以幫助管理和治理本地、多雲和軟件即服務 (SaaS) 數據。 問題：在我們same Azure Cloud 項目中，我們可以 ...

Synapse 無服務器池查詢以前版本的增量表

[英]Synapse serverless pool to query delta table previous versions

我們可以使用 Synapse 無服務器池（內置）來查詢增量文件的先前版本嗎？ 我熱衷於類似於我們在 Databricks 中所做的 SQL 聲明： OPENROWSET 支持是否支持“版本選擇”選項？ 如果不可能，將增量表注冊到外部托管表有幫助嗎？ ...


排序:
質量:
 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM