繁体   English   中英

OOZIE HIVE操作-工作流.xml属性不会传递给子任务

[英]OOZIE HIVE Action - The workflow.xml properties are not passed on to child tasks

我们在oozie中采取了积极行动,并且在工作流程中覆盖了一些默认的映射属性。

由配置单元操作触发的子任务具有属性的默认值,而不是工作流中配置的值。 Jobtracker中每个子作业生成的job.xml仅显示默认值。

如何确保由hive操作启动的所有子任务都从工作流.xml获取属性。

下面是我从工作流.xml的蜂巢操作:

<action name="Hive">
    <hive>
        <job-tracker>${job_tracker}</job-tracker>
        <name-node>${name_node}</name-node>
        <script>${wf:actionData('Query')['Location']}</script>
         <param>JOBDIR=${jobDir}</param>            
        <configuration>             
            <property> 
                <name>oozie.launcher.mapred.child.java.opts</name> 
                <value>-Xmx512m</value> 
            </property>                 
            <property> 
                <name>mapred.map.child.java.opts</name> 
                <value>-Xmx1024m</value> 
            </property> 
            <property> 
                <name>mapred.reduce.child.java.opts</name> 
                <value>-Xmx1024m</value> 
            </property>
                  <name>mapred.max.split.size</name>
                  <value>2560000</value>
                  <description>Largest valid size in bytes for a file split.
                        This should be set to a small multiple of the block size in bytes
                  </description> 
            </property>             
        </configuration>            
    </hive>

尝试使用

mapred.map.child.java.opts -> mapreduce.map.java.opts
mapred.reduce.child.java.opts -> mapreduce.reduce.java.opts
mapred.max.split.size -> mapreduce.input.fileinputformat.split.maxsize

我认为“ oozie.launcher.mapred.child.java.opts”工作正常。

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM