繁体   English   中英

BigQuery命令无法从Oozie工作流程运行

[英]Bigquery command is failing running from oozie workflow

我是oozie的新用户。 目前,我正在尝试从oozie的shell脚本中运行示例bigquery命令(例如:bq ls -p)。 但是它每次都失败。 下面,我提供了工作流程和Shell脚本。 我正在Hortonworks Sandbox中进行尝试,而gcloud已在Hortonworks Sandbox中进行了身份验证。
我想知道是否无法从oozie运行bigquery命令? AFAIK Hortonworks沙箱与其数据节点和作业节点使用相同的虚拟箱。 如果可以运行,那么任何人都可以帮助我找到答案-如果要从更大的hadoop集群运行,是否需要对每个节点中的gcloud进行身份验证?

提前致谢。 我的工作流xml示例:

<workflow..
   <start to="run_shell" />
      <action name="run_shell" retry-max="2" retry-interval="1">
        <shell xmlns="uri:oozie:shell-action:0.2">
           <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <configuration>
                <property>
                  <name>mapred.job.queue.name</name>
                  <value>default</value>
                </property>
            </configuration>
            <exec>pl2.sh</exec>
            <argument>/user/bandyoa/AP/</argument>
            <file>${nameNode}/user/bandyoa/AP/pl2.sh#pl2.sh</file> 
            <capture-output/>
        </shell>
        <ok to="end"/>
      <error to="failure_mail"/>
    </action>
</workflo..>

和shell脚本:

#!/bin/bash
bq ls -p

将所有项目设置和auth设置从/home/hdfs/.config和/home/hdfs/.bigqueryrc复制到/ home /,并将它们设置为对所有用户可读/可写,这让Oozie为我感到高兴。 现在, bq ls返回默认数据集中的表列表。

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM