CDH到HDP蜂巢

Question

我已经在cloudera中编写了蜂巢udf，我们正在将其迁移到hortonworks。 当我尝试在hortonworks集群中应用相同的udf时，在下面抛出错误。

Answer 1

使用正确的依赖项和正确的版本。 与管理团队联系，讨论版本并尝试运行它。 Limit总是扫描很少的记录，然后对数据而不是整个数据集应用操作，因此，当我将udf与limit一起使用时，它对我有用。 如果使用限制，则即使您使用的任何版本/甚至是cdh版本也可以使用。 但是，当您将其应用于整个数据集时，就会出现问题。 由于我的样本数据大约有500万条记录，因此必须运行map reduce作业。