[英]Bigquery command is failing running from oozie workflow
我是oozie的新用户。 目前,我正在尝试从oozie的shell脚本中运行示例bigquery命令(例如:bq ls -p)。 但是它每次都失败。 下面,我提供了工作流程和Shell脚本。 我正在Hortonworks Sandbox中进行尝试,而gcloud已在Hortonworks Sandbox中进行了身份验证。
我想知道是否无法从oozie运行bigquery命令? AFAIK Hortonworks沙箱与其数据节点和作业节点使用相同的虚拟箱。 如果可以运行,那么任何人都可以帮助我找到答案-如果要从更大的hadoop集群运行,是否需要对每个节点中的gcloud进行身份验证?
提前致谢。 我的工作流xml示例:
<workflow..
<start to="run_shell" />
<action name="run_shell" retry-max="2" retry-interval="1">
<shell xmlns="uri:oozie:shell-action:0.2">
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<configuration>
<property>
<name>mapred.job.queue.name</name>
<value>default</value>
</property>
</configuration>
<exec>pl2.sh</exec>
<argument>/user/bandyoa/AP/</argument>
<file>${nameNode}/user/bandyoa/AP/pl2.sh#pl2.sh</file>
<capture-output/>
</shell>
<ok to="end"/>
<error to="failure_mail"/>
</action>
</workflo..>
和shell脚本:
#!/bin/bash
bq ls -p
将所有项目设置和auth设置从/home/hdfs/.config和/home/hdfs/.bigqueryrc复制到/ home /,并将它们设置为对所有用户可读/可写,这让Oozie为我感到高兴。 现在, bq ls
返回默认数据集中的表列表。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.