databricks dbx 執行和啟動命令之間的區別

Question

我有一個項目，我希望能夠在數據塊上運行一些入口點。 我為此使用了 dbx，具有以下deployment.yaml文件：

build:
  python: "poetry"

environments:
  default:
    workflows:
      - name: "test"
        existing_cluster_id: "my-culster-id"
        spark_python_task:
          python_file: "file://tests/test.py"

我能夠使用execute命令運行測試腳本：

poetry run dbx execute --cluster-id=my-culster-id test

我對這個選項的問題是它以交互方式啟動腳本，我無法真正檢索 Databricks 上執行的代碼，除非查看集群的日志。

因此，我嘗試使用deploy和launch命令，以便在 Databricks 上創建並運行適當的作業。

poetry run dbx deploy test && poetry run dbx launch test

但是作業運行失敗並出現以下錯誤，我不明白：

Run result unavailable: job failed with error message
Library installation failed for library due to user error. Error messages:
'Manage' permissions are required to modify libraries on a cluster

無論如何，您認為運行可以從我的本地計算機在 Databricks 上跟蹤的作業的最佳方法是什么？

Answer 1

我最近添加了一個關於execute和launch差異的文檔部分，這會回答您的問題嗎？