大厅：如何将作业的输出传递给不同的作业

Question

从文档中我不清楚是否有可能将一个作业的输出传递给另一个作业（不是从任务到任务，而是从一个工作到另一个工作）。

我不知道从概念上讲我是做正确的事情，也许它应该在Concourse中以不同的方式建模，但我想要实现的是将Java项目的管道分成几个细粒度的工作，这些工作可以并行执行，如果我需要重新运行一些工作，并独立触发。

我怎么看管道：

1. 第一份工作：
   • 从github repo中提取代码
   • 用maven构建项目
   • 将工件部署到maven存储库（ mvn deploy ）
   • 更新Maven项目子模块的SNAPSHOT版本
   • 将工件（jar文件）复制到输出目录（ task output ）
2. 第二份工作：
   • 从output拾取jar
   • 为所有这些（并行）构建docker容器
3. 管道继续

我无法将作业1的output传递给作业2.此外，我很好奇我引入原始git repo资源的任何更改将出现在下一个作业中（从作业1到作业2）。

所以问题是：

1. 将构建状态从作业传递给作业的正确方法是什么（我知道，作业可能会安排在不同的节点上，并且肯定在不同的容器中）？
2. 是否有必要将状态存储在资源中（例如，S3 / git）？
3. Concourse是否因设计而无国籍（在此背景下）？
4. 哪里是获取更多信息的最佳地点？ 我已经尝试了手册，它不是​​那么详细。

到目前为止我发现了什么：

1. output s不会从作业传递给作业
2. 对资源的任何更改（ put github仓库）都会在下一个作业中获取，但工作副本中的更改不会

最小的例子（如果注释行没有注释错误，则会失败： missing inputs: gist-upd, gist-out ）：

---
resources:
  - name: gist
    type: git
    source:
      uri: "git@bitbucket.org:snippets/foo/bar.git"
      branch: master
      private_key: {{private_git_key}}

jobs:
  - name: update
    plan:
      - get: gist
        trigger: true

      - task: update-gist
        config:
          platform: linux
          image_resource:
            type: docker-image
            source: {repository: concourse/bosh-cli}

          inputs:
            - name: gist

          outputs:
            - name: gist-upd
            - name: gist-out

          run:
            path: sh
            args:
              - -exc
              - |
                git config --global user.email "nobody@concourse.ci"
                git config --global user.name "Concourse"
                git clone gist gist-upd
                cd gist-upd
                echo `date` > test
                git commit -am "upd"
                cd ../gist
                echo "foo" > test
                cd ../gist-out
                echo "out" > test

      - put: gist
        params: {repository: gist-upd}

  - name: fetch-updated
    plan:
      - get: gist
        passed: [update]
        trigger: true

      - task: check-gist
        config:
          platform: linux
          image_resource:
            type: docker-image
            source: {repository: alpine}

          inputs:
            - name: gist
            #- name: gist-upd
            #- name: gist-out

          run:
            path: sh
            args:
              - -exc
              - |
                ls -l gist
                cat gist/test
                #ls -l gist-upd
                #cat gist-upd/test
                #ls -l gist-out
                #cat gist-out/test

Answer 1

逐一回答你的问题。

1. 所有构建状态都需要以资源的形式从作业传递到作业，该资源必须存储在某种外部存储中。
2. 有必要存储在某种外部商店。 每种资源类型都处理这种上传和下载本身，因此对于您的特定情况，我会检查这种maven自定义资源类型 ，它似乎按照您的意愿执行。
3. 是的，这种无国籍状态是广场背后的决定性特征。 汇编中唯一的有状态元素是资源，必须严格版本化并存储在外部数据存储中。 当您将任务的容器化与外部资源存储相结合时，您将获得大厅提供的有保证的可重复性。 每个版本的资源都将在某种数据存储上备份，因此，即使ci运行的数据中心完全崩溃，您仍然可以严格重现每个ci版本。
4. 为了获得更多信息，我建议你做一些类型的教程来弄脏自己并自己构建一个管道。 Stark和Wayne有一个可能有用的教程 。 为了帮助理解资源，还有一个资源教程 ，可能对您有所帮助。

此外，为了得到您的特定错误，您看到missing inputs的原因是因为大厅将查找命名每个输入的目录（由资源gets ）。 因此，在启动任务之前，您需要get名为gist-upd和gist-out资源实例。