在 spark submit (Scala) 中使用 databricks dbutils - Null 指針異常

[英]Using databricks dbutils in spark submit (Scala) - Null pointer exception

我正在嘗試在 scala spark 中使用 dbutils。 我使用 spark submit 在 databricks 上提交這個作業。 但是，我收到 null 指針異常。 我在 build.sbt 中添加了以下依賴項， 我什至在 spark-submit 的--packages中添加com.d ...

net.proteanit.sql 用於 gradle

[英]net.proteanit.sql for gradle

我正在嘗試在 3 個構建工具中打開相同的項目：Maven、Ant 和 Gradle。 It's simple project with sql database, I've already done this via Ant and Maven, unfortunately after addi ...

如何以編程方式獲取 Databricks 實例 ID？

[英]How to get Databricks Instance ID programatically?

是否有可能通過在筆記本單元格中執行一些代碼來檢索 Databricks 實例 ID（模糊的 URL）？ ...

Databricks：無法訪問已安裝的 blob

[英]Databricks: Cannot access mounted blob

我安裝了一個 blob 存儲容器（已確認 blob 類型）： 掛載點已創建，我可以在數據塊中看到它。 我在此容器中放置了一個 csv 文件以及一個包含更多 csv 文件但無法訪問任何內容的文件： java.io.FileNotFoundException：/未找到 shaded.da ...

Databricks的dbutils.data.Summarize如何實現？

[英]How to implement dbutils.data.Summarize of Databricks？

如果我想實現類似的功能，我需要做什么？ 尤其是precise=false ，大概是怎么算出來的？ 請參閱： https://docs.databricks.com/dev-tools/databricks-utils.html#data-utility-dbutilsdata ...

我可以遍歷數據塊筆記本中的小部件嗎？

[英]Can I iterate through the widgets in a databricks notebook?

我可以遍歷數據塊筆記本中的小部件嗎？ 像這樣的偽代碼？# NB - not valid inputs = {widget.name: widget.value for widget in dbutuils.widgets} ...

直接使用筆記本時從dbutils.notebook.run輕松進入arguments

[英]Easily entering arguments from dbutils.notebook.run when using a notebook directly

我正在調用這樣的筆記本：dbutils.notebook.run(path, timeout, arguments) 其中 arguments 是一個字典，其中包含筆記本小部件的許多字段。 我想以交互方式調試調用的筆記本：復制/粘貼小部件參數需要時間，並且可能導致難以發現的錯誤無法完美完成。 最 ...

Spark 在 .jar 文件中使用 dbutils.fs.ls().toDF

[英]Spark use dbutils.fs.ls().toDF in .jar file

我正在嘗試根據 databricks 筆記本中的代碼打包我的 jar。 我有以下行在 databricks 中有效，但在 Scala 代碼中引發錯誤： import com.databricks.dbutils_v1.DBUtilsHolder.dbutils val spark = Spark ...

如何將本地文件復制到 Azure Databricks DBFS 文件存儲

[英]How do I copy a local file to Azure Databricks DBFS filestore

我在 Azure Databricks 中使用以下命令嘗試將文件 test.csv 從本地 C: 驅動器復制到 Databricks dbfs 位置，如圖所示。 我收到此錯誤： 請幫助。 ...

通過 Python 命令和 dbutils 在 Databricks 上安裝 Maven 庫

[英]Installing Maven library on Databricks via Python commands and dbutils

在 Databricks 上，如果尚未安裝，我想通過 Python Notebook 中的命令安裝 Maven 庫。 如果它是一個 Python PyPI 庫，我會執行以下操作： 我怎樣才能對 Maven 庫“com.microsoft.azure.kusto:spark-kusto-conn ...

如何使用 Scala 反射/鏡像調用 Databricks dbutils

[英]How to call Databricks dbutils using Scala Reflection / Mirrors

我想打電話 使用鏡像。 到目前為止，我實現了這一點： 這提供了一個有效的 dbutils 參考： 作為比較： 列出可用字段： 問題是如何擴展fieldMirror來訪問dbutils.secrets.get(s, k) ...

無法在 databricks 社區版集群中 cat dbfs 文件。 FileNotFoundError: [Errno 2] 沒有這樣的文件或目錄：

[英]Not able to cat dbfs file in databricks community edition cluster. FileNotFoundError: [Errno 2] No such file or directory:

嘗試讀取databricks 社區版集群中的增量日志文件。 (databricks-7.2 版本) Getting file not found error: 我嘗試添加/dbfs/ ， dbfs:/沒有任何結果，仍然出現相同的錯誤。 但是使用dbutils.fs.head我能夠讀 ...

如何終止 Databricks 筆記本的並行執行？

[英]How to kill parallel execution of Databricks notebooks?

我目前正在使用 Python 的Threading來並行執行多個 Databricks 筆記本。 這些是長期運行的筆記本，如果我想用新的更改重新開始執行，我需要添加一些邏輯來殺死線程。 當在不終止線程的情況下重新執行主筆記本時，集群很快就會充滿計算量大、壽命長的線程，為實際需要的計算留下很少的空間 ...

線程“主”中的異常 java.lang.NullPointerException com.databricks.dbutils_v1.DBUtilsHolder$$anon$1.invoke

[英]Exception in thread “main” java.lang.NullPointerException com.databricks.dbutils_v1.DBUtilsHolder$$anon$1.invoke

我想讀取 Azure Blob 中的鑲木地板文件，因此我已使用dbultils.fs.mount將 Azure Blob 中的數據掛載到本地但是我Exception in thread "main" java.lang.NullPointerException 以下是我的日志： 我的代碼： 我的 ...

dbutils.notebook.run 不選擇保存在 DBFS 位置的運行筆記本

[英]dbutils.notebook.run does not pick run notebook saved on DBFS location

我將包含多個 python 筆記本和腳本的數據塊工作區目錄 (/Users/xyz/) 內容導出到數據塊特定位置，例如 /dbfs/tmp，然后嘗試調用以下代碼來運行名為 xyz.py 的 python 筆記本導出位置如下： dbutils 始終無法找到筆記本路徑並給出以下異常： 雖然如果我檢查筆 ...

ModuleNotFoundError：沒有名為“pyspark.dbutils”的模塊

[英]ModuleNotFoundError: No module named 'pyspark.dbutils'

我正在從 Azure 機器學習筆記本運行 pyspark。 我正在嘗試使用 dbutil 模塊移動文件。 我收到此錯誤： ModuleNotFoundError: No module named 'pyspark.dbutils' 是否有解決方法？ 這是另一個 Azure 機器學習筆記本中的錯誤： ...

DBFS：如何在 Datarbricks 中獲取 DBFS 文件的上次訪問時間

[英]DBFS : How to get Last access time of DBFS file in Datarbricks

是否可以像ls -ltu list all files 一樣獲取上次打開文件的時間，通過使用dbutils在 Unix 中按訪問時間顯示和排序。 我們需要在 Databricks 注釋中獲取有關 ADLS 文件的統計信息。 ...

檢查路徑是否存在於 Databricks 中

[英]Check if the path exists in Databricks

我嘗試使用 Python 檢查路徑是否存在於 Databricks 中： 如果路徑不存在，我希望執行except語句。 但是， try語句失敗並出現以下錯誤，而不是except語句： 如何正確捕獲FileNotFoundException ？ ...

我可以在單個命令中從 databricks notebook 返回 1 個以上的值嗎？

[英]Can i return more than 1 value from databricks notebook in a single command?

我有一組值作為我的 databricks 筆記本的輸出返回。 任何人都可以建議一種以有效和簡單的方式做到這一點的方法嗎？ ...

如何生成有效期超過 48 小時的 databricks 特權令牌

[英]How to generate a databricks privileged token which is valid more than 48 hours

想要運行連接到 Azure databricks 集群的本地 Jupiter notebook，並且需要使用 dbutils 來獲取機密。 這需要在本地保存一個特權令牌，它只能持續 2 天。 有沒有辦法生成比這更長的令牌或在本地繼續使用 dbutils 更長時間？ ...