如何配置Pig通过WebHDFS访问数据？

Question

我是hadoop的新手，所以如果这个问题有误，请原谅我。 我正在尝试将Pig配置为使用webhdfs来获取数据。 我不知道该怎么做，我尝试过：-

Configuration configuration = new Configuration();
conf.set("fs.defaultFS","webhdfs://<uri>:50070");
properties.putAll(ConfigurationUtil.toProperties(conf));

然后，我将此属性对象（properties）传递给pig的主文件中的properties对象。 但是，这似乎不起作用。 对hdfs的任何访问只会超时而无响应。 有人可以告诉我这是怎么做的吗？

Answer 1

经过多次尝试和错误，我想我可能已经解决了问题。 问题不在于通过的配置（顺便说一句，我本可以在类路径上保留一个core-site.xml，并具有上述的fs.defaultFS属性）。 问题是我尝试运行的Pig脚本文件具有以下内容：

REGISTER 'hdfs://<uri>:9000/filename.jar'

什么时候应该

REGISTER 'webhdfs://<uri>:50070/filename.jar'

不知道这是否很明显，我浪费了您的时间。 抱歉