HDP沙盒中MongoDB Hadoop連接器故障產生的Hive日志在哪里？

Question

我遇到一個奇怪的錯誤，我在Azure Hortonworks Sandbox上的任何日志中都找不到。 我正在嘗試執行以下操作方法來嘗試將Mongodb與Hadoop（Hive）集成： https : //www.mongodb.com/blog/post/using-mongodb-hadoop-spark-part-2-hive-例如 ，但是當我嘗試使用Hive在Mongo中創建表時，出現以下錯誤（在MR2和Tez處理器上同時使用hive CLI，beeline和Ambari Hive視圖）：

Error: Error while processing statement:  FAILED: Execution Error, 
return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.com/mongodb/BasicDBObject (state=08S01,code=1)

好吧，在搜索此消息時，我發現人們引用一些描述真正異常的Java日志，並得出結論（大多數情況下），mongodb-java-driver jar缺少類路徑。

我的第一個問題：這些日志在哪里描述真正的異常？ 因為在/var/log/hive*/*.log和Yarn ResourceManagerUI->日志中查找，所以除了“ InterruptedException”，“ ERROR applicationhistoryservice.ApplicationHistoryServer（LogAdapter.java:error(69））-收到的信號”之外，我什么都看不到15：SIGTERM”，依此類推...但是沒有什么真正有用的。

接下來，我在本地配置單元中指定的本地路徑中添加了mongo-hadoop-core和mongo-hadoop-hive jars（根據我的沙箱版本規范從github構建）和mongodb-java-driver版本3.3.0。 hive-site.xml的aux.jars.path，並最終重新啟動了我的hive服務（因此，包括hive-server2）...但是無法正常工作，也無法獲取更多信息以了解為什么不這樣做正在運行...

我忘記了什么嗎？ 謝謝你的幫助！

Answer 1

好吧，我終於找到了我的問題。

jar缺少bson- $ MongoVersion .jar和mongodb-driver-core- $ MongoVersion .jar。

即使連接器文檔指定了我們需要將mongo-hadoop-core- $ connectorVersion .jar，mongo-hadoop-hive- $ connectorVersion .jar和mongodb- driver- $ mongoJavaDriver .jar包含到hadoop類路徑中，似乎也需要bson和mongodb-driver-core jars也是如此。

最后，日志位於此處： /var/log/hive/hiveserver2.log 。 我不明白我怎么會錯過閱讀這些日志的消息，但是，確實如此。