在组合任务中设置可以在每个子任务中访问的全局属性

Question

为子任务设置“通用”属性不起作用

我使用的 SCDF 版本是 2.9.6。

我想制作 CTR ABC，每个任务都执行以下操作：

A: sql select on some source DB

B: process DB data that A got

C: sql insert on some target DB

使这项工作最简单的方法似乎是定义共享工作目录文件夹路径“some_work_directory”，并将其作为应用程序属性传递给 A、B、C。在 {some_work_directory} 下，我只是将每个任务结果存储为文件，如select.result , process.result , insert.result ，然后访问它们。 如果没有先例数据，我可以假设出了什么问题，并让任务以 1 退出。

================

我尝试使用组合任务实例QWER ，其中两个任务来自同一个应用程序“全局”，名为A ， B 。 这个简单的应用程序将test.value应用程序属性打印到控制台，在没有给出其他属性时默认为“test”。

如果我尝试在 SCDF 启动构建器的全局选项卡中设置 test.value，它在组合任务的日志中被解释为app.*.test.value 。 但是，SCDF 登录子任务 A，B 不会从父任务中捕获此配置。 它们都无法解析启动时给出的输入。

如果我尝试将 test.value 设置为启动构建器中的行，并将任何值传递给 A、B，就像我在任务未组合时所做的那样，这甚至会失败。 我知道这不是我需要的“全局”，似乎 CTR 无法与 SCDF 启动构建器一起正常工作。

我发现的唯一解决方法是在启动自由文本中手动设置app.QWER.A.test.value=AAAAA和app.QWER.B.test.value=BBBBB 。 通过这种方式，输入被转换为app.QWER-A.app.global4.test.value=AAAAA, app.QWER-B.app.global4.test.value=BBBBB ，并且打印良好。

我知道，通过这种方式，我可以在启动时为每个子任务设置详细的配置。 但是，如果我只是想设置一个 CTR 实例中的任务将共享的一些“全局”，似乎没有可行的方法。

我错过了什么吗？ 感谢您提前提供任何信息。

Answer 1

CTR 将协调一系列任务的执行。 任务之间没有隐式数据传输。 如果您希望来自 A 的数据成为 B 的输入，然后 B 的 output 成为 C 的输入，您可以创建一个任务/批处理应用程序，其读取器和写入器由处理器连接，或者您可以为 B 创建一个 stream 应用程序和对 A 和 C 使用 JDBC source 和 sink。