堆棧內存溢出
cost 230 ms
Databricks 工作流中的作業傳感器

[英]Job Sensors in Databricks Workflows

目前我們使用 Airflow 安排我們的 Databricks 筆記本。由於項目之間的依賴性，DAG 之間存在依賴性。 一些 DAG 會等到前一個 DAG 中的任務完成后才開始（通過使用傳感器）。 我們現在正在尋求使用 Databricks DBX。 它對我們來說仍然是新的，但似乎 DBX 的主要附 ...

清除 Databricks 工件位置

[英]Clear Databricks Artifact Location

我正在使用dbx cli 將我的工作流部署到數據塊中。 我在下面配置了.dbx/project.json ： 每次當我運行dbx deploy...時，它都會將我的任務腳本存儲到帶有 hash 文件夾的 DBFS 中。 如果我運行 100 次dbx deploy... ，它會創建 100 個 has ...

使用static集群時如何創建和讀取createOrReplaceGlobalTempView

[英]How to create and read createOrReplaceGlobalTempView when using static clusters

在我的 deployment.yaml 文件中，我定義了一個 static 集群： 我將其用於所有任務。 在其中一項任務中，我使用以下方法保存了一個 DataFrame： 在另一項任務（取決於前一項任務）中，我嘗試這樣讀取臨時視圖： 但我得到錯誤： 這兩個任務都在同一個 SparkSession ...

使用部署文件將 AzureML 管道重構為 dbx 管道

[英]Refactoring AzureML pipeline into dbx pipeline with deployment file

我的公司正在將我們所有的管道從 AzureML 遷移到 Databricks ，我的任務是重構我們使用 azureml-sdk 制作的現有管道之一（使用 PipelineData、PythonScriptStep 等函數），並將其轉換為使用 deployment.yml 文件的 dbx 管道。 我在 ...

databricks dbx 執行和啟動命令之間的區別

[英]Differences between databricks dbx execute and launch command

我有一個項目，我希望能夠在數據塊上運行一些入口點。 我為此使用了 dbx，具有以下deployment.yaml文件： 我能夠使用execute命令運行測試腳本： 我對這個選項的問題是它以交互方式啟動腳本，我無法真正檢索 Databricks 上執行的代碼，除非查看集群的日志。 因此，我嘗試使用de ...

databricks-dbx HTTPError 403 客戶端錯誤

[英]databricks-dbx HTTPError 403 Client Error

我正在使用以下方法運行一些作業： dbx 版本 0.7.4 pyspark 3.2.2 三角洲火花 2.0.0 Python 3.8.1 我遵循以下指南： https://dbx.readthedocs.io/en/latest/features/assets/?h=dbx+launch+as ...

Databricks DBX 通過作業命名參數

[英]Databricks DBX named parameters through job

我正在嘗試實現這一點（我在 conf 文件中沒有變量，但將其作為命名參數傳遞） 這里提到。 在本地模式和 python 調試器下運行時，我可以輕松地將其傳遞為： SomeClass繼承Task 但是，我似乎無法通過部署.yaml。 我試過很多版本 這就是我嘗試閱讀的方式 如果我在deplo ...

如何使用 dbx 安裝 spark-xml 庫

[英]How to install spark-xml library using dbx

我正在嘗試使用dbx安裝庫spark-xml_2.12-0.15.0 。 我找到的文檔是將其包含在conf/deployment.yml文件中，例如： 您可以在此處查看文檔頁面： https://dbx.readthedocs.io/en/latest/guides/jvm/jvm_devops/? ...

嵌套 Python package 結構並使用它來創建 Databricks 輪任務

[英]Nested Python package structure and using it to create Databricks wheel task

問題理解 python package 結構以及如何使用它來觸發 Databricks 中的 python 輪任務。 因此，它可能是與我誤解的 python 包/模塊相關的基本內容，也可能是特定於數據塊的內容。 我嘗試了多種選擇，但都沒有奏效。 所以，跳進去， 我想triggerjob functi ...

通過 dbx 實用程序在 Databricks 中使用 arguments 運行本地 python 代碼

[英]Running local python code with arguments in Databricks via dbx utility

我正在嘗試通過 dbx 實用程序在 Databricks 集群上執行本地 PySpark 腳本，以測試在本地開發時如何將 arguments 傳遞給 python 在 Databricks 中工作。 但是，由於某種原因，我正在通過的測試 arguments 沒有被讀取。 有人可以幫忙嗎？ 遵循本指南 ...

dbx databricks 部署命名屬性

[英]dbx databricks deploy named properties

誰能給我一個在 dbx 中使用命名屬性的示例的鏈接。 該文檔提到了一個.json 文件的示例， https://dbx.readthedocs.io/en/latest/named_properties.html 但它沒有提到我們如何使用示例變量調用這個文件。 我是否需要編寫 python 代碼才 ...


排序:
質量:
 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM