使用luigi构建hadoop作业管道时，如何调试任务？

Question

我正在使用luigi作为hadoop工作管道。 我阅读了示例和文档，但是在将作业推送到hadoop服务器之前找不到如何调试脚本？

更具体地说，我需要处理大量数据，并且运行时间很长，我更喜欢在小型测试数据集中测试作业，而不是在真实数据集中运行。

Answer 1

据我所知，这并不是一件小事，因为您要调试的是实际的Hadoop集成。 也许有一种方法可以模拟或模拟hadoop系统……或者只是在您的机器上安装最小的hadoop？

我们对集群任务执行类似的操作。 我们正在通过一种便捷的方法来执行命令，该方法允许我们在本地运行的命令之间进行切换，或者仅通过切换参数值就可以通过HPC系统在命令之间进行切换。 如果您有兴趣，可以在此处查看此代码： https : //github.com/samuell/sciluigi/blob/d403b1d04779fcb9d4d949cd2e554a892c86a67d/sciluigi/slurm.py#L99-L113