从 Hive 读取表而不使用 map reduce

Question

如何在没有 map reduce 的情况下从 Hive 读取？ 我试图从在 Hive 上创建的表中读取一列，但我不希望 map reduce 存在的开销。 基本上，我想从在 Hive 上创建的表中检索值而无需开销，并以最快的方式获取它们。

Answer 1

您可以使用 Tez 或 Spark 作为 Hive 中的执行引擎，而不是 MapReduce。

请参阅Hive 配置属性中的hive.execution.engine 。

还有相当多的 SQL 引擎与 hive 元数据兼容，例如 Presto、Spark SQL、Impala。

Answer 2

通常，如果您在 hive mapreduce 中执行“select *from”表将不会运行..

在您的情况下，您是否仅使用配置单元表中的选择列也不会运行 mapreduce。

或者您可以在主表上创建一个包含所需列和行数的子表，然后在表上执行 select * 。