尝试从HDFS读取文件时，Pentaho的“ Hadoop文件输入”（勺）始终显示错误

Question

我是Pentaho和Spoon的新手，我试图通过Spoon（Pentaho）中带有“ Hadoop文件输入”项的本地Hadoop节点处理文件。 问题在于，到目前为止，我尝试过的每个URI似乎都不正确。 我不知道如何真正从Pentaho连接到HDFS。

为了明确起见，正确的URI是：

HDFS：//本地主机：9001 /用户/数据/ prueba_concepto / ListadoProductos_2017_02_13-15_59_con_id.csv

我知道它是正确的，因为我通过命令行对其进行了测试，并且效果很好：

hdfs dfs -ls hdfs://localhost:9001/user/data/prueba_concepto/ListadoProductos_2017_02_13-15_59_con_id.csv

因此，将环境字段设置为“静态”，以下是我在Spoon中尝试过的一些URI：

HDFS：//本地主机：9001 /用户/数据/ prueba_concepto / ListadoProductos_2017_02_13-15_59_con_id.csv
HDFS：//本地主机：8020 /用户/数据/ prueba_concepto / ListadoProductos_2017_02_13-15_59_con_id.csv
HDFS：//本地主机：9001
HDFS：//本地主机：9001 /用户/数据/ prueba_concepto /
HDFS：//本地主机：9001 /用户/数据/ prueba_concepto
HDFS：///

我什至尝试了GarciGarcía在此提供的解决方案： Pentaho Hadoop File Input ，将端口设置为8020并使用以下uri：

HDFS：//内停：@localhost：8020 /用户/数据/ prueba_concepto / ListadoProductos_2017_02_13-15_59_con_id.csv

然后将其更改回9001并尝试相同的技术：

HDFS：//内停：@localhost：9001 /用户/数据/ prueba_concepto / ListadoProductos_2017_02_13-15_59_con_id.csv

但是对于我来说仍然没有任何效果……每当我按Mostrar Fichero ...按钮（显示文件）时，都会弹出一个错误消息，提示找不到该文件。

谢谢。

Answer 1

Okey，所以我实际上解决了这个问题。

我必须从“视图”选项卡中添加一个新的Hadoop群集->右键单击Hadoop群集->新建

在那里，我必须输入我的HDFS Hadoop配置：

此后，如果您单击“测试”按钮，则某些测试将失败。 我将本地LOCAL Hadoop配置文件（$ LOCAL_HADOOP_HOME / etc / hadoop / core-site.xml）中的所有配置属性复制到了勺子的hadoop配置文件中，从而解决了第二个问题：

数据集成/插件/ Pentaho的，大数据的插件/ Hadoop的配置/ hdp25 /核心的site.xml

之后，我不得不修改data-integration / plugins / pentaho-big-data-plugin / plugin.properties并将属性“ active.hadoop.configuration”设置为hdp25：

active.hadoop.configuration = hdp25

重新启动汤匙，您就可以走了。