如何在 Luigi 中使用早期任务的输出？

Question

我正在编写一个管道，稍后的任务需要在其中读取早期任务的输出，以便他们知道需要在他们的要求中传递哪些参数。

我在下面创建了一个简化的设置示例。

import random
import pickle
import luigi


class WriteNumbers(luigi.Task):

    def requires(self):
        pass

    def run(self):
        # pickle a random list of ints 1-100
        numbers = [random.randint(1, 100) for _ in range(100)]
        pickle.dump(numbers, open("./numbers.pkl", 'wb'))

    def output(self):
        return luigi.LocalTarget("./numbers.pkl")


class SquareNumber(luigi.Task):
    number = luigi.IntParameter()

    def requires(self):
        pass

    def run(self):
        # given a number as the parameter, write a file containing its square
        with open("./squared_{}".format(self.number), 'w') as f:
            f.write(str(self.number ** 2))

    def output(self):
        return luigi.LocalTarget("./squared_{}".format(self.number))


class SquareAll(luigi.WrapperTask):

    def requires(self):
        yield WriteNumbers()  # require the number list to be pickled first
        numbers = pickle.load("./numbers.pkl")  # load the number list
        for n in numbers:  # square each number in the number list
            yield SquareNumber(number=n)

class CubeNumber(luigi.Task):
    number = luigi.IntParameter()

    def requires(self):
        pass

    def run(self):
        # given a number as the parameter, write a file containing its cube
        with open("./cubed_{}".format(self.number), 'w') as f:
            f.write(str(self.number ** 3))

    def output(self):
        return luigi.LocalTarget("./cubed_{}".format(self.number))


class CubeAll(luigi.WrapperTask):

    def requires(self):
        yield WriteNumbers()  # require the number list to be pickled first
        numbers = pickle.load("./numbers.pkl")  # load the number list
        for n in numbers:  # square each number in the number list
            yield CubeNumber(number=n)

class CrunchNumbers(luigi.WrapperTask):
    def requires(self):
        yield SquareAll()
        yield CubeAll()

if __name__ == '__main__':
    luigi.run()

当通过python luigi_example.py CrunchNumbers运行时，将创建 100 个随机数并将列表腌制并转储到磁盘。 SquareAll加载该pickle 列表并使用它来要求具有所需参数的SquareNumber任务。 CubeAll为其类似的任务引用了相同的结果文件。

问题是，运行时会抛出异常，因为numbers.pkl文件尚不存在。

如何允许后续任务根据较早任务的输出生成依赖关系？ 我在这里使用了随机数来表示无法提前知道输出：我的实际应用程序正在处理来自 API 的数据。

Answer 1

您正在使用动态依赖项，这些需要从run方法中调用（当requires的结果可用作input ），因此CubeAll和SquareAll应该像这样构造：

class SquareAll(luigi.WrapperTask):

    def requires(self):
        yield WriteNumbers()  # require the number list to be pickled first

    def run(self):
        numbers_file = self.input()[0].path
        numbers = pickle.load(numbers_file)  # load the number list
        for n in numbers:  # square each number in the number list
            yield SquareNumber(number=n)