DataBricks 筆記本中的“WITH x AS”ParseException 錯誤

[英]"WITH x AS " ParseException Error in DataBricks notebook

我正在嘗試加入 DataBricks Notebook 中的兩個表。 SQL 語句中的第一行出錯了。 我不能確定為什么。 我讀過的文檔說這通常是由於錯字造成的。 但對我來說並非如此（至少我看不到）。 ...

將 R object (plot/image) 傳遞給 Python 中的 Python 環境

[英]Passing R object (plot/image) to Python environment in Python

我正在使用ggplot2創建一些圖，我想將其傳遞給 Python 環境，最終使用已經開發的腳本將圖像寫入 excel。 這在 Databricks 中有可能嗎？ （我知道 Python 中的plotnine包可以創建ggplot2 imagine 但我不想使用它） ...

如何將 JSON object 的列表轉換為 PySpark DataFrame？

[英]How to convert list of JSON object to PySpark DataFrame?

我想將變量中的 JSON 字符串轉換為 Databricks 上的 PySpark DataFrame。 我有一個來自 API 的有效負載。它是 JSON 個對象的列表，保存在一個名為response_list的變量上。 變量是 JSON object 類型為class 'str'> ：[{ ...

是否可以從 Java 代碼管理或調用 Databricks 集群的作業？

[英]Is it possible to manage or call jobs of a Databricks cluster from Java Code?

我使用 jdbc 字符串連接在 Java 簡單代碼中成功連接。 我只想知道是否可以從 Java 代碼調用 Azure Databricks 集群的作業以及如何調用？ 似乎唯一可能做的事情是使用這種連接調用 SQL 語句，但不調用數據塊集群。 有任何想法嗎？ 預先感謝 ...

R 當字符在字符串中出現多次時，使用二進制文本值列表 output

[英]R Using a list of text value output in binary when character appears more than once in a string

在 Databricks 中使用 R。 我有以下可能的文本條目示例列表。 我想檢查其中任何一個是否在字符串中多次出現（如下例）並在新列中返回二進制 output。 此示例的 output 將為 1。 我嘗試了以下但只取得了部分成功： 也試過 並且 ...

Databricks SQL 編輯器“初始化配置失敗”

[英]Databricks SQL Editor "Failure to initialize configuration"

當我嘗試 select SQL 編輯器中的一個特定表中的內容時，我收到錯誤“無法初始化配置”。 查詢很簡單，如select * from table_name 。 還嘗試了限制和/或選擇特定列，但得到了同樣的錯誤。 如果我切換到“數據科學與工程”並使用筆記本中的常規集群執行相同的查詢，一切正常。 ...

py4j.Py4JException：方法集（[class java.lang.String，class java.util.ArrayList]）在Databricks中不存在

[英]py4j.Py4JException: Method set([class java.lang.String, class java.util.ArrayList]) does not exist in Databricks

我正在嘗試使用 Databricks 訪問遠程 S3 存儲桶。 據我了解，這就是我的代碼應該是什么樣子， 嘗試設置 Spark 配置時，我似乎遇到了以下錯誤， 我究竟做錯了什么？ ...

Databricks repos 筆記本被誤刪除（未提交，未版本化），是否可以恢復？

[英]Databricks repos notebook deleted by mistake (not commited, not versioned), is posible to restore it?

在任何提交之前，我不小心從我的數據塊存儲庫中刪除了一個筆記本，我希望從垃圾文件夾中恢復它，但筆記本不在那里。 是否可以從服務器上的任何目錄或類似目錄中恢復？ ...

Databricks cli - 用於復制文件的 dbfs 命令

[英]Databricks cli - dbfs commands to copy files

我正在致力於Purview ADB Lineage Solution Accelerator的部署。 在“ 在您的 Databricks 集群上安裝 OpenLineage”部分的第 3 步中，作者要求在powershell中運行以下命令以使用Databricks CLI將init腳本和jar上傳到 ...

使用來自 spark 的 jdbc 驅動程序查詢 ibm db2 時，如何設置“僅用於獲取”？

[英]How do I set "for fetch only" when querying ibm db2 using the jdbc driver from spark?

我有一些代碼可以查詢 db2 數據庫，如果我不包含“僅用於獲取”，該數據庫可以正常工作，但如果包含，則會返回錯誤。 我想知道它是否已經完成，或者我如何設置它。 當我僅包含獲取時出錯： com.ibm.db2.jcc.am.SqlSyntaxErrorException: DB2 SQL Error ...

Databricks SQL Warehouse 報錯：User is not part of org

[英]Error in Databricks SQL Warehouse: User is not part of org

今天嘗試啟動Databricks SQL Warehouse集群，卻收到如下信息： 集群無法啟動。 集群啟動將停止請求創建集群失敗，出現異常：PERMISSION_DENIED：用戶 xxxx 不屬於 org：xxxx 我相信這個錯誤是由於一名高級成員上周離開了我們的團隊。 當他離開時，我們將他從 ...

如何在數據塊中使用帶分隔符的 string_split()？

[英]How to use string_split() with delimiter in databricks?

我正在嘗試在數據塊中使用 string_split() function 來轉換為低於 dataframe。 源 dataframe 在 Databricks 中存儲為 TempView： ID 價值 1個值 1、值 2、值 3 2個值-1，值-4 Output 需要： ID 價值 1個值 ...

在數據塊中掛載 onedrive for business

[英]To Mount onedrive for business in databricks

我正在嘗試在數據塊社區版的一個驅動器業務中安裝一個文件夾。 我無法使用 onedrivesdk，因為它已被棄用。 我創建了一個應用程序注冊，為其分配了讀寫權限並使用客戶端 ID 和密碼。我嘗試使用 api 請求進行掛載，但它沒有提供訪問令牌。 首先我想知道，是否可以將一個驅動器安裝到 databr ...

無法在本地運行 PySpark（Kafka 到 Delta）並獲取 SparkException：找不到目錄“spark_catalog”的目錄插件 class

[英]Unable to run PySpark (Kafka to Delta) in local and getting SparkException: Cannot find catalog plugin class for catalog 'spark_catalog'

我正在嘗試編寫一個 PySpark 代碼來讀取 Kafka 主題並發布到 Delta 表。 但它不起作用。 示例代碼： 命令：星火版本：3.3.1 安慰： 在運行此代碼之前，我是否需要指定目錄和模式？ 這樣做的最佳做法是什么？ ...

列值總是被截斷

[英]column values are always truncated

我目前正在做一個小項目，我從 kafka 主題中獲取 stream 機器數據（JSON 格式）以供進一步分析。 列值中的 JSON 應拆分為多個列及其相應的值。 現在我總是遇到無法在列值中看到所有數據的問題，視圖似乎總是被截斷。 讀取 stream： 結果： Dataframe 和 base64 編 ...

Azure Databricks的Unity Catalog中的數據分類

[英]Data classification in Unity Catalog of Azure Databricks

問：Azure Databricks中的Unity Catalog是否有分類資產的功能？ 如果是這樣，有人可以提供指向 Unity 目錄中有關此功能的在線文檔的鏈接嗎？ 請看下面的上下文： Unity Catalog是 Lakehouse 的 Azure Databricks 數據治理解決方案。 ...

Databricks Autoloader能否跟蹤文件上傳時間

[英]Can Databricks Autoloader Keep Track of File Uploading Time

是否可以使用 Databricks 自動加載器跟蹤 S3 文件上傳時間？ 看起來 Autoloader 會為文件名和處理時間添加列，但在我們的用戶案例中，我們需要知道文件上傳到 S3 的順序。 ...

Databricks 上的 DBT 工作流失敗：object SeedNode 中的 AttributeError

[英]DBT workflow on Databricks fails: AttributeError in object SeedNode

今天我們在數據塊中的 DBT 工作流失敗了。 工作流運行如下： 任何建議可能是錯誤的或如何解決它？ Databricks 日志中報告的版本： 使用 dbt=1.4.1 運行錯誤信息如下： 'SeedNode' object 沒有屬性 'depends_on' 09:59:17 回溯（最近調用 ...

在使用 pandas 在 python 中執行 SQL 查詢時，我遇到了錯誤：TypeError: __init__() got multiple values for argument 'schema'

[英]While performing SQL query in python using pandas i am facing the error : TypeError: __init__() got multiple values for argument 'schema'

在此處輸入圖像描述嘗試在 python 中編譯 sql 查詢。我曾經在 python 中經常這樣做。但我過去從未遇到過這個錯誤。 幫我解決這個問題。 詢問：from pandasql import sqldf import pandas as pd from sklearn import data ...

Pyspark - 如何在 pyspark 中轉換格式為 /Date(1593786688000+0200)/ 的日期/時間戳？

[英]Pyspark - How do I convert date/timestamp of format like /Date(1593786688000+0200)/ in pyspark?

我有一個 dataframe 和 CreateDate 列，格式如下： 我想將該格式轉換為日期/時間戳，因此例外的 output 將是： 我在 SQL 中有這個查詢，它給出了所需的 output 並且可以幫助開發： 誰能幫我實現這個目標？ 謝謝！ ...