Hive CLI 如何从 HDFS 检索巨大的结果文件？

Question

通过 CLI 执行 hive 查询后，如下所示：

$ hive -e QUERY > output.txt

1. Hive 客户端将编译 QUERY 并将其发送到 Hadoop 集群。
2. Hadoop 执行一些作业并将结果输出到 HDFS 上的文件（假设只有 1 个减速器）。
3. 然后 Hive 客户端将检索这个单个文件，提取它，并输出到本地 STDOUT。

流程如下图所示：

==============
Hadoop Cluster
==============
  |         |
  |         |
  |     2. output RESULT as a single .gz file at HDFS because of 1 reducer
  |         |
  |         |
1. QUERY    |
  |         |
  |     3. Hive retrieves the RESULT as stream or a whole file ?
  |        If as a whole file, what happens when file size > memory size ?
  |         |
  |         |
  ===========
  Hive Client
  ===========
      |
      |
  4. Client outputs RESULT to stdout which is redirected to a file
      |
      |
 ===========
 Output File
 ===========

我的问题是：如果 HDFS 上的单个结果文件超大，甚至比我的本地物理内存还大，那么 Hive 客户端如何处理？

Hive 客户端是否检索文件

1. 作为一个流？
2. 把它放到一些临时交换文件中？
3. 或者是其他东西 ？

Answer 1

您正在以流的形式获取结果，因此如果您没有重定向输出，则您的过程中不会包含任何临时文件。 你可以把它想象成在做hadoop fs -cat /THE/RESULT/FILE/OF/YOUR/HIVE/REQUEST

如果结果将是一个大数据，您可以将它们重新放在 hdfs 位置：

$ hive -e QUERY | hadoop fs -put - /HDFS/LOCATION

但是这里你应该注意网络，因为它可能已经饱和了

另一种选择是将数据立即存储到另一个 Hive 表中，这样 Hive 将为您完成所有工作，并且不会将任何结果流式传输/复制到您的本地机器