获取java.io.FileNotFoundException：文件不存在：尝试在Apache Kylin中为示例数据构建多维数据集时出现hive-exec-2.1.0.jar错误

Question

我使用以下版本的以下技术安装了Apache kylin： -

Apache Hadoop: - 2.7.3 
Apache Hive: - 2.1.0
Apache Hbase:- 1.2.4
Apache Kylin: - 1.6

我可以使用设置中给出的sample.sh文件在Apache Kylin中加载数据。 但是，当我尝试在时间范围内构建多维数据集时，我在“构建多维数据集”过程的第3步中遇到以下错误

File does not exist: 
hdfs://localhost:54310/app/hadoop/tmp/mapred/staging/hduser341814501/.staging/job_local341814501_0007/libjars/hive-exec-2.1.0.jar

其中， hduser是启动了hduser并且正在尝试构建多维数据集的用户。

我检查了目录结构，发现app/hadoop/tmp/mapred/staging/hduser341814501/.staging folder中没有目录或文件。

hive-exec-2.1.0.jar是否尝试创建此目录结构并将hive-exec-2.1.0.jar放在该目录结构中，但由于某些权限问题而无法执行此操作？

还是因为其他一些错误而来？

虽然jar kylin正在寻找存在于hdfs://localhost:54310/usr/local//hivr/lib folder 。 麒麟也有可能在错误的位置寻找罐子吗？

任何人都可以帮我解决我做错的事吗？

Answer 1

Kylin将从类路径中搜索蜂巢罐，然后在提交MR作业时使用“tmpjars”属性指定它。 请检查您的环境：

1）运行$ KYLIN_HOME / bin / find-hive-dependency.sh，检查输出;

2）在$ KYLIN_HOME / logs / kylin.log中搜索“过滤后的Hive依赖项”，它应该记录提交给Hadoop作业的依赖jar，如：

logs/kylin.log.2017-03-07:2017-03-07 11:58:18,772 INFO  [pool-6-thread-16] common.AbstractHadoopJob:203 : Hive Dependencies After Filtered: /usr/hdp/2.5.4.0-121/hive/lib/hive-metastore-1.2.1000.2.5.4.0-121.jar,/usr/hdp/2.5.4.0-121/hive/lib/hive-exec-1.2.1000.2.5.4.0-121.jar,/usr/hdp/2.5.4.0-121/hive-hcatalog/share/hcatalog/hive-hcatalog-core-1.2.1000.2.5.4.0-121.jar

还要检查Kylin运行的机器上是否存在罐子。

Answer 2

我猜你是在独立主机上运行Kylin，你也在那里部署你的hadoop＆hive＆hbase？ 如果是这样的话，你有没有开始纱线和历史服务器？ 尝试cd到$HADOOP_HOME并在启动Kylin之前运行./sbin/start-yarn.sh和./sbin/mr-jobhistory-daemon.sh start historyserver 。