AWS Data Pipeline - Task Runner 不保持活動狀態

Question

我正在嘗試在 Amazon Linux EC2 實例 (ami-6869aa05) 上運行任務運行程序以執行 AWS Datapipeline Shell 命令任務。

我已經成功創建了管道，通過 SSH 通過終端連接到實例，安裝並啟動了 Task Runner，並且能夠在第一次激活時成功運行管道。 隨后的管道作業卡在“等待運行程序”中。 查看管道的依賴項時，它顯示未設置工作組。

我使用以下 CLI 條目來啟動任務運行器。 ** s3 存儲桶和文件夾名稱已刪除 **：

java -jar TaskRunner-1.0.jar --config ~/credentials.json --workerGroup=wg-01020 --region=us-east-1 --logUri=s3://**bucket-name**/**folder-name**

這導致以下輸出：

log4j:WARN No appenders could be found for logger (amazonaws.datapipeline.objects.PluginModule). log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
Starting log pusher...
Log Pusher Started. Region: us-east-1, LogUri: s3://**bucket-name**/**folder-name**
Build info: commit=unknown, timestamp=2016-07-18 14:51:53 UTC
Initializing drivers...
Starting task runner...

任務運行器的AWS 文檔說“當任務運行器處於活動狀態時，它會打印日志文件在終端窗口中寫入的路徑。以下是一個示例。”...

Logging to /Computer_Name/.../output/logs

……但我還沒有看到這個印刷品。 這讓我相信退出終端會關閉任務運行器，導致后續管道作業陷入“等待運行器”狀態。

任何幫助將不勝感激。

Answer 1

通過在命令末尾添加& disown ，我能夠退出終端而不終止任務運行器。

java -jar TaskRunner-1.0.jar --config ~/credentials.json --workerGroup=wg-01020 --region=us-east-1 --logUri=s3://**bucket-name**/**folder-name** & disown

這並沒有導致Logging to /Computer_Name/.../output/logs的Logging to /Computer_Name/.../output/logs輸出，但我不必讓終端窗口保持打開狀態，並且數據管道作業已成功完成而沒有問題。

Answer 2

從這里的文檔

Task Runner 應該與您的登錄 shell 分離運行。 如果您使用終端應用程序連接到您的計算機，您可能需要使用諸如nohup或screen 之類的實用程序來防止 Task Runner 應用程序在您注銷時退出。

重要的是要了解，當我們通過 ssh 登錄到遠程 Linux 實例時，我們正在以自己的用戶身份運行一個 shell，從該 shell 執行的任何命令都將是該 shell 進程的子進程。 如果 shell 進程終止，這就是我們結束登錄會話時發生的情況，那么 shell 的所有子進程也將終止。

為了防止我們啟動的 java TaskRunner 進程發生這種情況，我們必須將 java 進程與 shell 進程的“父進程”分離。 這是通過使用 nohup 或 screen 等工具來實現的。

運行您的 java 命令，如下所示。

nohup java -jar TaskRunner-1.0.jar --config credentials.json --workerGroup=<worker_group_name> --region=<region_name> --logUri=<s3_log_location>

Answer 3

也可以使用tmux 。

只需運行tmux ，然后啟動 TaskRunner，然后使用ctrl+bd與會話分離或直接與 ssh 斷開連接。

有關更多信息，請參閱https://tmuxcheatsheet.com/