獲取java.io.FileNotFoundException：文件不存在：嘗試在Apache Kylin中為示例數據構建多維數據集時出現hive-exec-2.1.0.jar錯誤

Question

我使用以下版本的以下技術安裝了Apache kylin： -

Apache Hadoop: - 2.7.3 
Apache Hive: - 2.1.0
Apache Hbase:- 1.2.4
Apache Kylin: - 1.6

我可以使用設置中給出的sample.sh文件在Apache Kylin中加載數據。 但是，當我嘗試在時間范圍內構建多維數據集時，我在“構建多維數據集”過程的第3步中遇到以下錯誤

File does not exist: 
hdfs://localhost:54310/app/hadoop/tmp/mapred/staging/hduser341814501/.staging/job_local341814501_0007/libjars/hive-exec-2.1.0.jar

其中， hduser是啟動了hduser並且正在嘗試構建多維數據集的用戶。

我檢查了目錄結構，發現app/hadoop/tmp/mapred/staging/hduser341814501/.staging folder中沒有目錄或文件。

hive-exec-2.1.0.jar是否嘗試創建此目錄結構並將hive-exec-2.1.0.jar放在該目錄結構中，但由於某些權限問題而無法執行此操作？

還是因為其他一些錯誤而來？

雖然jar kylin正在尋找存在於hdfs://localhost:54310/usr/local//hivr/lib folder 。 麒麟也有可能在錯誤的位置尋找罐子嗎？

任何人都可以幫我解決我做錯的事嗎？

Answer 1

Kylin將從類路徑中搜索蜂巢罐，然后在提交MR作業時使用“tmpjars”屬性指定它。 請檢查您的環境：

1）運行$ KYLIN_HOME / bin / find-hive-dependency.sh，檢查輸出;

2）在$ KYLIN_HOME / logs / kylin.log中搜索“過濾后的Hive依賴項”，它應該記錄提交給Hadoop作業的依賴jar，如：

logs/kylin.log.2017-03-07:2017-03-07 11:58:18,772 INFO  [pool-6-thread-16] common.AbstractHadoopJob:203 : Hive Dependencies After Filtered: /usr/hdp/2.5.4.0-121/hive/lib/hive-metastore-1.2.1000.2.5.4.0-121.jar,/usr/hdp/2.5.4.0-121/hive/lib/hive-exec-1.2.1000.2.5.4.0-121.jar,/usr/hdp/2.5.4.0-121/hive-hcatalog/share/hcatalog/hive-hcatalog-core-1.2.1000.2.5.4.0-121.jar

還要檢查Kylin運行的機器上是否存在罐子。

Answer 2

我猜你是在獨立主機上運行Kylin，你也在那里部署你的hadoop＆hive＆hbase？ 如果是這樣的話，你有沒有開始紗線和歷史服務器？ 嘗試cd到$HADOOP_HOME並在啟動Kylin之前運行./sbin/start-yarn.sh和./sbin/mr-jobhistory-daemon.sh start historyserver 。