如何让 hive 返回行更快？ （比如说，限制 10）

Question

我注意到当涉及到 MR 时，即使是简单的查询，例如：

select * from table where condition_a and condition_b limit 10;

Hive 将扫描所有数据（当然），但它只会在所有 MR 作业完成后返回，即使我们只需要 10 个结果。

有没有办法告诉 hive 只返回前 10 行，然后跳过作业的结果？

请注意，我正在讨论何时涉及 MR 工作，而不是针对没有创建实际 MR 工作的简单情况。

谢谢！

Answer 1

在我看来，Hive 不像 hbase，如果您在查询时正在寻找类似 hbase 的速度，那么您不会在 hive 中得到它。

Hive 用于处理大量数据的批处理，而 hbase 一次只查找一个数据。 当您尝试运行 hive 查询时，它将运行 MR 作业，MR 作业将针对 10 亿条记录和 10 条记录运行完全相同的进程。

因此，当您设置其他答案中提到的一些环境变量时可能会更快。但是在处理小数据时，您不能期望 hbase 或 RDBMS 或其他数据库的速度

Answer 2

你能试一下吗

hive.mapred.mode = nonstrict

和

hive.map.aggr = false

除了这些，您还可以尝试排序和分发。

Answer 3

因为，它是 mapreduce 方式。 在实际返回结果之前需要等待（即需要先提交结果）。

如果您需要更快的相同查询结果，请注意相同的查询，然后缓存结果以便下次更快检索。

set hive.query.results.cache.enabled=true

或者使用 spark 更快地获取结果。 Spark 在 RAM 中进行大部分计算。 也让它更快地缓存查询结果。

 val SPARK:SparkSession = SparkSession
    .builder
    .appName("Test")
    .master("local[2]")
    .config("spark.sql.warehouse",new File("spark-warehouse").getAbsolutePath)
    .enableHiveSupport()
    .getOrCreate()

val SQL_CONTEXT:SQLContext = SPARK.sqlContext

val res = SQL_CONTEXT.sql("select * from table where condition_a and condition_b limit 10").cache()

Answer 4

您可以使用 hive 的限制优化属性来实现所需的结果链接

 <property>
    <name>hive.limit.optimize.enable</name>
    <value>true</value>
    <description>Whether to enable to optimization to trying a smaller subset of data for simple LIMIT first.</description>
  </property>
  <property>
    <name>hive.limit.row.max.size</name>
    <value>100000</value>
    <description>When trying a smaller subset of data for simple LIMIT, how much size we need to guarantee each row to have at least.</description>
  </property>
  <property>
    <name>hive.limit.optimize.limit.file</name>
    <value>10</value>
    <description>When trying a smaller subset of data for simple LIMIT, maximum number of files we can sample.</description>
  </property>
  <property>
    <name>hive.limit.optimize.fetch.max</name>
    <value>50000</value>
    <description>
      Maximum number of rows allowed for a smaller subset of data for simple LIMIT, if it is a fetch query. 
      Insert queries are not restricted by this limit.
    </description>
  </property>

您还可以参考hive 文档中的这些属性