sqoop作業shell腳本在oozie中並行執行

Question

我有一個執行sqoop job的shell腳本。 該腳本如下。

!#/bin/bash

table=$1

sqoop job --exec ${table}

現在，當我在工作流程中傳遞表名時，我將獲得成功執行的sqoop作業。

工作流程如下。

<workflow-app name="Shell_script" xmlns="uri:oozie:workflow:0.5">
<start to="shell"/>
<kill name="Kill">
    <message>Action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
</kill>
<action name="shell_script">
    <shell xmlns="uri:oozie:shell-action:0.1">
        <job-tracker>${jobTracker}</job-tracker>
        <name-node>${nameNode}</name-node>
        <exec>sqoopjob.sh</exec>
        <argument>test123</argument>
        <file>/user/oozie/sqoop/lib/sqoopjob.sh#sqoopjob.sh</file>
    </shell>
    <ok to="End"/>
    <error to="Kill"/>
    </action>
    <end name="End"/>
</workflow-app>

表test123的作業成功執行。

現在我有300個像上面一樣的工作。 我想並行執行10個sqoop作業。 所有表名都在一個文件中。

現在，我想循環到該文件並為前10個表執行10個sqoop作業，依此類推。

我怎樣才能做到這一點？ 我應該准備10個工作流程嗎？ 我真的很困惑。

Answer 1

正如@ Samson Scharfrichter提到的，您可以在shell腳本中啟動並行作業。 在shell中創建一個函數runJob()並並行運行它。 使用此模板：

#!/bin/bash

runJob() {
tableName="$1"
#add other parameters here

#call sqoop here or do something else
#write command logs
#etc, etc
#return 0 on success, return 1 on fail

return 0
}

#Run parallel processes and wait for their completion

#Add loop here or add more calls
runJob $table_name &
runJob $table_name2 &
runJob $table_name3 &
#Note the ampersand in above commands says to create parallel process

#Now wait for all processes to complete
FAILED=0

for job in `jobs -p`
do
   echo "job=$job"
   wait $job || let "FAILED+=1"
done

if [ "$FAILED" != "0" ]; then
    echo "Execution FAILED!  ($FAILED)"
    #Do something here, log or send messege, etc

    exit 1
fi

#All processes are completed successfully!
#Do something here
echo "Done successfully"