Hive 查询日志 - 每个查询的聚合日志

Question

Hive 在哪里存储查询日志？ 入门页面有一个属性 hive.querylog.location 。 这似乎表明每个 hive 节点/客户端都将在此位置存储日志。 是否有一个位置可以将所有这些聚合到每个查询中？

Answer 1

location.默认情况下，Hive 将其日志存储在/tmp/ 位置。 before the Hive prompt is displayed.当在 Unix/Linux 提示符下使用hive命令调用 Hive shell 时，Hive 在显示 Hive 提示符之前使用行Hive history file= 显示 。 示例输出如下所示：

[root@localhost root]# hive
Logging initialized using configuration in jar:file:/usr/lib/hive/lib/hive-common-0.10.0-cdh4.4.0.jar!/hive-log4j.properties
Hive history file=/tmp/root/hive_job_log_46a27ee2-7ac1-43f5-a66b-20d6ea982421_849420221.txt
hive>

如果 Hive 查询生成 MapReduce 作业，则可以通过可通过浏览器访问的 JobTracker 页面查看这些日志。

日志的路径是：
Mapper logs: Job Tracker Page -> Completed Jobs -> Jobid -> map -> task id -> Task Logs
Reducer logs: Job Tracker Page -> Completed Jobs -> Jobid -> reduce -> task id -> Task Logs

Answer 2

使用以下命令执行查询

hive --hiveconf hive.root.logger=DRFA --hiveconf hive.log.dir=./logs --hiveconf hive.log.level=DEBUG -e "<query>"

OR

hive --hiveconf hive.root.logger=DRFA --hiveconf hive.log.dir=./logs --hiveconf hive.log.level=DEBUG -f <hql-file>

它将在日志文件夹中创建一个日志文件。 确保当前目录中存在日志文件夹。