了解Hive MR輸出

Question

當我運行Hive語句並啟動相應的MR作業時，通常會顯示以下行：

階段1：映射：33減少：131累積CPU：8006.47秒HDFS讀取：1280804751 HDFS寫入：279261996966成功

MapReduce花費的總CPU時間：0天2小時13分鍾26秒470毫秒

我對解釋這條線有一些疑問。

1. 1280804751、279261996966中的數字是什么單位？ 字節？ 塊？ 有什么辦法可以將它們轉換為人類可讀的格式？
2. “已花費的MapReduce總CPU時間”是什么意思？ “累積CPU”是什么意思？

Answer 1

1. HDFS Read和HDFS Write值以字節為單位。

2. Cumulative CPU是該階段MapReduce作業的所有任務的總CPU時間。 Total MapReduce CPU Time Spent是查詢所有階段的總CPU時間。 在您的示例中，只有一個階段，因此兩個值的持續時間相同。