了解Hive MR输出

Question

当我运行Hive语句并启动相应的MR作业时，通常会显示以下行：

阶段1：映射：33减少：131累积CPU：8006.47秒HDFS读取：1280804751 HDFS写入：279261996966成功

MapReduce花费的总CPU时间：0天2小时13分钟26秒470毫秒

我对解释这条线有一些疑问。

1. 1280804751、279261996966中的数字是什么单位？ 字节？ 块？ 有什么办法可以将它们转换为人类可读的格式？
2. “已花费的MapReduce总CPU时间”是什么意思？ “累积CPU”是什么意思？

Answer 1

1. HDFS Read和HDFS Write值以字节为单位。

2. Cumulative CPU是该阶段MapReduce作业的所有任务的总CPU时间。 Total MapReduce CPU Time Spent是查询所有阶段的总CPU时间。 在您的示例中，只有一个阶段，因此两个值的持续时间相同。