澄清 sortby 与 order by 在配置单元中

Question

我正在阅读下面的 Hive 手册，并对文档https://cwiki.apache.org/confluence/display/Hive/LanguageManual+SortBy上解释的详细信息感到困惑

首先它说

Hive 在将行提供给 reducer 之前使用 SORT BY 中的列对行进行排序。

然后它说

Hive 支持按 reducer 对数据进行排序的 SORT BY。 “order by”和“sort by”的区别在于，前者保证输出的总顺序，而后者只保证 reducer 中行的排序。 如果有多个 reducer，“sort by”可能会给出部分排序的最终结果。

如果它在发送到 reducer 之前已经对记录进行了排序，那么如何不保证最终输出被排序？ 它运行双重排序吗？

Answer 1

sort by和order by的大部分逻辑都非常相似。 您可以将order by视为sort by的更受限制的情况。 假设底层执行引擎是 MapReduce。

这两种情况都依赖于 MR 的Shuffle阶段来对项目进行排序。 而 shuffle 操作可以分为两部分，分别由 MR 作业的 map 端和 reduce 端处理。 前者用于本地排序，后者用于合并来自不同映射器的部分结果。

当医生说：

Hive 在将行提供给 reducer 之前使用 SORT BY 中的列对行进行排序。

这意味着行由洗牌阶段的映射端操作排序。 实际上，对于sort by和order by都是如此。

那么两者有什么区别呢？ 这是减速器的并行性。 对于order by ，为了获得全局排序的结果集，Hive 强制 reducer 的数量为1 ，导致所有数据都发送到单个 reducer。 在这个单一的 reducer 中，shuffle 的合并部分保证所有数据都在全局排序。

而对于sort by ，没有这样的强制执行。 所以减速器的数量可以是任何数量。 这导致数据仅在每个 reducer 中排序。 但是不能保证全局排序。 当 reducer 的数量设置为 1 时，无论是显式还是隐式， sort by和order by都具有相同的行为。