Hive 查詢日志 - 每個查詢的聚合日志

Question

Hive 在哪里存儲查詢日志？ 入門頁面有一個屬性 hive.querylog.location 。 這似乎表明每個 hive 節點/客戶端都將在此位置存儲日志。 是否有一個位置可以將所有這些聚合到每個查詢中？

Answer 1

location.默認情況下，Hive 將其日志存儲在/tmp/ 位置。 before the Hive prompt is displayed.當在 Unix/Linux 提示符下使用hive命令調用 Hive shell 時，Hive 在顯示 Hive 提示符之前使用行Hive history file= 顯示 。 示例輸出如下所示：

[root@localhost root]# hive
Logging initialized using configuration in jar:file:/usr/lib/hive/lib/hive-common-0.10.0-cdh4.4.0.jar!/hive-log4j.properties
Hive history file=/tmp/root/hive_job_log_46a27ee2-7ac1-43f5-a66b-20d6ea982421_849420221.txt
hive>

如果 Hive 查詢生成 MapReduce 作業，則可以通過可通過瀏覽器訪問的 JobTracker 頁面查看這些日志。

日志的路徑是：
Mapper logs: Job Tracker Page -> Completed Jobs -> Jobid -> map -> task id -> Task Logs
Reducer logs: Job Tracker Page -> Completed Jobs -> Jobid -> reduce -> task id -> Task Logs

Answer 2

使用以下命令執行查詢

hive --hiveconf hive.root.logger=DRFA --hiveconf hive.log.dir=./logs --hiveconf hive.log.level=DEBUG -e "<query>"

OR

hive --hiveconf hive.root.logger=DRFA --hiveconf hive.log.dir=./logs --hiveconf hive.log.level=DEBUG -f <hql-file>

它將在日志文件夾中創建一個日志文件。 確保當前目錄中存在日志文件夾。