如何使用 YAML 从 Azure Devops 管道执行和安排 Databricks Notebook

Question

我想使用 YAML 文件对我的 azure Databricks 笔记本进行 CICD。 我遵循了以下流程

1. 将我的代码从 Databricks notebook 推送到 Azure Repos。
2. 使用以下 YAML 脚本创建了一个构建。

stages:
- stage: Build
  displayName: Build stage

  jobs:
  - job: Build
    displayName: Build
    steps:
    - task: CopyFiles@2
      displayName: 'Copy Files to:  $(build.artifactstagingdirectory)'
      inputs:
        SourceFolder: '$(System.DefaultWorkingDirectory)'
        TargetFolder: ' $(build.artifactstagingdirectory)'

    - task: PublishBuildArtifacts@1
      displayName: 'Publish Artifact: notebooks'
      inputs:
        ArtifactName: dev_release
    - task: PublishBuildArtifacts@1
      inputs:
        PathtoPublish: '$(Build.ArtifactStagingDirectory)'
        ArtifactName: 'publish build'
        publishLocation: 'Container'

通过以上操作，我能够创建一个 Artifact。

现在我添加了另一个任务来将该工件部署到我的 Databricks 工作区。 通过使用以下 YAML 脚本。

- stage: Deploy
  displayName: Deploy stage

  jobs:
  - job: Deploy
    displayName: Deploy
    pool:
      vmImage: 'vs2017-win2016'
    steps:
    - task: DownloadBuildArtifacts@0
      inputs:
        buildType: 'current'
        downloadType: 'single'
        artifactName: 'dev_release'
        downloadPath: '$(System.ArtifactsDirectory)'
    - task: databricksDeployScripts@0
      inputs:
        authMethod: 'bearer'
        bearerToken: 'dapj0ee865674cd9tfb583dbad61b78ce9b1-4'
        region: 'Central US'
        localPath: '$(System.DefaultWorkingDirectory)'
        databricksPath: '/Shared'

现在我只想从这里运行已部署的笔记本。 所以我有“配置 Databricks CLI”任务和“执行 Databricks”任务来执行笔记本。

出现以下错误：
##[错误]错误：无法找到可执行文件：'databricks'。 请验证文件路径是否存在，或者是否可以在 PATH 环境变量指定的目录中找到该文件。 还要验证该文件是否具有可执行文件的有效扩展名。 ##[错误]给定的笔记本不存在。

如何从 Azure DevOps 执行笔记本。 我的笔记本使用 Scala 语言。
有没有其他方法可以在生产服务器中使用。

Answer 1

由于您已经使用 Azure DevOps 部署了 Databricks Notebook 并要求以任何其他方式运行它，我建议您使用 Azure 数据工厂服务。

在 Azure 数据工厂中，您可以创建针对 Databricks 作业集群执行 Databricks notebook 的管道。 您还可以在执行期间将 Azure 数据工厂参数传递给 Databricks notebook。

按照Azure数据工厂中的官方教程Run Databricks Notebook with Databricks Notebook Activity来部署和运行Databrick Notebook。

此外，您可以在任何特定时间或事件安排管道触发器，以使该过程完全自动化。 参考https://learn.microsoft.com/en-us/azure/data-factory/concepts-pipeline-execution-triggers

Answer 2

尝试这个：

- job: job_name          
  displayName: test job
  pool:
    name: agent_name(selfhostedagent)
    #pool:
  workspace:
    clean: all    
  steps:
  - checkout: none
  - task: DownloadBuildArtifacts@0
    displayName: 'Download Build Artifacts'
    inputs:
      artifactName: app
      downloadPath: $(System.DefaultWorkingDirectory)
  - task: riserrad.azdo-databricks.azdo-databricks-configuredatabricks.configuredatabricks@0
    displayName: 'Configure Databricks CLI'
    inputs:
      url: '$(Databricks_URL)'
      token: '$(Databricks_PAT)'
  - task: riserrad.azdo-databricks.azdo-databricks-deploynotebooks.deploynotebooks@0
    displayName: 'Deploy Notebooks to Workspace'
    inputs:
      notebooksFolderPath: '$(System.DefaultWorkingDirectory)/app/path/to/notebbok'
      workspaceFolder: /Shared
  - task: riserrad.azdo-databricks.azdo-databricks-executenotebook.executenotebook@0
    displayName: 'Execute /Shared/path/to/notebook'
    inputs:
      notebookPath: '/Shared/path/to/notebook'
      existingClusterId: '$(cluster_id)'