![](/img/trans.png)
[英]Python: Change the script's working directory to a different directory to read constants
[英]Hive trying to read current working directory when called in Python script
我正在嘗試從Python包裝器執行Hive腳本。 部分代碼看起來像
print(HiveArgs)
Hive = subprocess.Popen(HiveArgs, stderr=subprocess.PIPE, stdout=subprocess.PIPE)
HiveOutput = Hive.communicate()
print("Out:" + HiveOutput[0])
print("=================================")
print("Err:" + HiveOutput[1])
輸出為:
['hive', '-i ', '/edw/edwdev/tmp/spark.txn.init.tmp', '-f ', '/edw/edwdev/tmp/test.hql.tmp']
Out:
=================================
Err:
Logging initialized using configuration in file:/etc/hive/2.5.0.2-3/0/hive-log4j.properties
Exception in thread "main" java.io.FileNotFoundException: File file:/data/edw/edwdev/ does not exist
at org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus(RawLocalFileSystem.java:624)
at org.apache.hadoop.fs.RawLocalFileSystem.getFileLinkStatusInternal(RawLocalFileSystem.java:850)
at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:614)
at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:422)
at org.apache.hadoop.fs.ChecksumFileSystem$ChecksumFSInputChecker.<init>(ChecksumFileSystem.java:146)
at org.apache.hadoop.fs.ChecksumFileSystem.open(ChecksumFileSystem.java:348)
at org.apache.hadoop.fs.FileSystem.open(FileSystem.java:782)
at org.apache.hadoop.hive.cli.CliDriver.processFile(CliDriver.java:427)
at org.apache.hadoop.hive.cli.CliDriver.processInitFiles(CliDriver.java:439)
at org.apache.hadoop.hive.cli.CliDriver.executeDriver(CliDriver.java:708)
at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:684)
at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:624)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.apache.hadoop.util.RunJar.run(RunJar.java:233)
at org.apache.hadoop.util.RunJar.main(RunJar.java:148)
/data/edw/edwdev/
(Hive認為缺少的文件)是我在Linux服務器上的工作目錄。
將工作目錄更改為腳本的位置無濟於事。 使用相對路徑和絕對路徑也沒有區別。 如果我從打印的HiveArgs
復制值並從終端執行命令( hive -i /edw/edwdev/tmp/spark.txn.init.tmp -f /edw/edwdev/tmp/test.hql.tmp
)正確地。
我在這里想念什么?
原來,問題在於Hive的爭論。 print(HiveArgs)
行給出了輸出:
['hive', '-i ', '/edw/edwdev/tmp/spark.txn.init.tmp', '-f ', '/edw/edwdev/tmp/test.hql.tmp']
傳遞的參數是'-f '
和'-i '
(帶有尾部空格),而不是'-f'
和'-i'
。
我不確定是什么原因導致Hive內的問題導致它將當前工作目錄讀取為某些輸入文件。 Hive最有可能不會整理導致這種現象的參數。 刪除空格可解決此問題。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.