[英]OOZIE HIVE Action - The workflow.xml properties are not passed on to child tasks
我們在oozie中采取了積極行動,並且在工作流程中覆蓋了一些默認的映射屬性。
由配置單元操作觸發的子任務具有屬性的默認值,而不是工作流中配置的值。 Jobtracker中每個子作業生成的job.xml僅顯示默認值。
如何確保由hive操作啟動的所有子任務都從工作流.xml獲取屬性。
下面是我從工作流.xml的蜂巢操作:
<action name="Hive">
<hive>
<job-tracker>${job_tracker}</job-tracker>
<name-node>${name_node}</name-node>
<script>${wf:actionData('Query')['Location']}</script>
<param>JOBDIR=${jobDir}</param>
<configuration>
<property>
<name>oozie.launcher.mapred.child.java.opts</name>
<value>-Xmx512m</value>
</property>
<property>
<name>mapred.map.child.java.opts</name>
<value>-Xmx1024m</value>
</property>
<property>
<name>mapred.reduce.child.java.opts</name>
<value>-Xmx1024m</value>
</property>
<name>mapred.max.split.size</name>
<value>2560000</value>
<description>Largest valid size in bytes for a file split.
This should be set to a small multiple of the block size in bytes
</description>
</property>
</configuration>
</hive>
嘗試使用
mapred.map.child.java.opts -> mapreduce.map.java.opts
mapred.reduce.child.java.opts -> mapreduce.reduce.java.opts
mapred.max.split.size -> mapreduce.input.fileinputformat.split.maxsize
我認為“ oozie.launcher.mapred.child.java.opts”工作正常。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.