使用Azure数据工厂（ADF）在Pig / Hive活动中运行Shell脚本

Question

我正在将Azure Blob stoarge，数据工厂与HDInsight群集一起使用。 我有一个包含hadoop和hive相关代码的shell脚本，我试图从pig / hive的代码中添加/创建ADF中的hive / Pig活动，我正在调用一个shell脚本； 如

myFile.pig

sh /myFolder/myscript.sh

==========================

myFile.hql

!/myFolder/myscript.sh

执行时，我正在获取Java.IO.Excption | 没有相应的文件和目录 。 根据例外，pig / hive文件无法识别shell脚本路径；

是否有人遇到类似问题或有人部署了猪/蜂巢活动以及ADF中的shell脚本。

我尝试了多种方法，并通过所有可能的路径组合来传递shell脚本的位置，但是没有被使用，因此任何帮助/建议/指针都将是非常可贵的。

提前致谢。

Answer 1

将shell脚本上载到blob存储，然后将该脚本调用到pig或hive，Bleow是步骤。

Hive 

    !sh hadoop fs -ls wasbs://contyaineName@StorageAccountName.blob.core.windows.net/pathToScript/testshell.ksh

Pig 
    sh hadoop fs -ls wasbs://contyaineName@StorageAccountName.blob.core.windows.net/pathToScript/testshell.ksh