使用HIVE进行地图缩减

Question

我有4个CSV文件形式的4个不同的数据集，其中的公共字段是ID。 我必须使用Join实现。 为了实施更好的Map Reduce或HIVE这个概念，是否有可能结合Map Reduce和HIVE

非常感谢 。

Answer 1

在大多数情况下，与Hive相比，大多数时候Map Reduce都会提供更好的性能和控制力。 必须在更好地理解用例的情况下编写代码。

是的，可以将Map Reduce和Hive结合使用。

Answer 2

Hive将Hive查询转换为一系列MapReduce作业，以模拟查询的行为。 尽管Hive非常有用，但将您的业务逻辑表示为Hive查询并不总是有效的。

如果您对性能有延迟，并希望加入大量数据 ，那么可以选择HIVE。

如果您的数据集很小，您仍然可以使用Map Reduce Joins或Distributed Cache 。

看一下“ Map Reduce Joins”文章。