繁体   English   中英

远程使用Luigi(通过ssh)时查看任务进度

See task progress when using Luigi remotely (with ssh)

提示:本站收集StackOverFlow近2千万问答,支持中英文搜索,鼠标放在语句上弹窗显示对应的参考中文或英文, 本站还提供   中文繁体   英文版本   中英对照 版本,有任何建议请联系yoyou2525@163.com。

如果在与ssh连接的服务器中使用Luigi,是否可以查看任务的进度(如果我可以通过在浏览器中查找“ localhost”来本地使用luigi的话)?

任何帮助表示赞赏

1 个回复

简短答案:是

当您以本地方式运行luigid时,系统上会启动一台服务器,正如您提到的那样,您可以通过http:// localhost:8082 (或指定的任何端口)进行访问。 要使它在远程服务器上工作,您需要做的就是在该服务器上运行luigid ,然后将浏览器指向http:// localhost:8082 ,http://:8082(或您配置luigid任何端口)听。

2 如果任务被杀死,如何查看luigi错误日志

我正在尝试运行Luigi任务,该任务将从表中读取几百万条记录并写入csv。 不幸的是,这项工作被杀死了,但是我找不到任何回溯错误或任何线索来解决此问题。 INFO:通知调度程序,任务ExportData__99914b932b的状态为PENDING INFO:完成调度任务INFO:运 ...

3 使用luigi构建hadoop作业管道时,如何调试任务?

我正在使用luigi作为hadoop工作管道。 我阅读了示例和文档,但是在将作业推送到hadoop服务器之前找不到如何调试脚本? 更具体地说,我需要处理大量数据,并且运行时间很长,我更喜欢在小型测试数据集中测试作业,而不是在真实数据集中运行。 ...

2015-09-01 08:47:42 1 276   luigi
4 如何使用Luigi执行Spark任务?

我运行了很多Spark作业,我想使用Luigi进行协调。 但是,我收到一条错误消息,我不知道该如何解决。 这是我的基本脚本: 我的luigi.cfg在下面。 我在一家大公司工作,刚刚被批准使用Luigi,因此怀疑是否在集群上设置了中央调度程序。 这样,我希望在启动脚本的 ...

5 无法使用Luigi链接任务

我正在尝试使用Luigi软件包链接多个任务。 这些任务将一个csv拆分为特定url字符串唯一的独立csv。 但是,我遇到了困难,编写并运行包装器以链接已定义的任务 我假设这种情况下的包装器链接了我先前创建的任务。 但是当我在终端上运行此命令时 这是我得到的完整回溯 ...

6 如何在 Luigi 中使用早期任务的输出?

我正在编写一个管道,稍后的任务需要在其中读取早期任务的输出,以便他们知道需要在他们的要求中传递哪些参数。 我在下面创建了一个简化的设置示例。 当通过python luigi_example.py CrunchNumbers运行时,将创建 100 个随机数并将列表腌制并转储到磁盘。 Squar ...

8 Ansible执行远程SSH任务

我尝试连接到远程“自定义” Linux vm,并复制了ssh public ssh,但是,由于我一直无法访问远程主机,因此我能够Ansible ping /连接它。 “ 我认为是因为它运行的自定义版本的linux和ssh auth可能表现不同 ” 以下远程ssh命令有效 我正在尝 ...

10 luigi 如何处理任务失败?

我开始使用路易吉。 我已经构建了一个可以执行多项任务的管道,并且我已经足够小心以确保任务运行良好。 所以管道运行良好。 在构建管道时,在任务失败的时候,他们会收到:(报告,我编辑它们直到它们工作正常。 所以假设我有一个管道 在这种情况下,如果 Task2 失败,则不会执行 Task3 并且管道 ...

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2022 STACKOOM.COM