嘗試從HDFS讀取文件時，Pentaho的“ Hadoop文件輸入”（勺）始終顯示錯誤

Question

我是Pentaho和Spoon的新手，我試圖通過Spoon（Pentaho）中帶有“ Hadoop文件輸入”項的本地Hadoop節點處理文件。 問題在於，到目前為止，我嘗試過的每個URI似乎都不正確。 我不知道如何真正從Pentaho連接到HDFS。

為了明確起見，正確的URI是：

HDFS：//本地主機：9001 /用戶/數據/ prueba_concepto / ListadoProductos_2017_02_13-15_59_con_id.csv

我知道它是正確的，因為我通過命令行對其進行了測試，並且效果很好：

hdfs dfs -ls hdfs://localhost:9001/user/data/prueba_concepto/ListadoProductos_2017_02_13-15_59_con_id.csv

因此，將環境字段設置為“靜態”，以下是我在Spoon中嘗試過的一些URI：

HDFS：//本地主機：9001 /用戶/數據/ prueba_concepto / ListadoProductos_2017_02_13-15_59_con_id.csv
HDFS：//本地主機：8020 /用戶/數據/ prueba_concepto / ListadoProductos_2017_02_13-15_59_con_id.csv
HDFS：//本地主機：9001
HDFS：//本地主機：9001 /用戶/數據/ prueba_concepto /
HDFS：//本地主機：9001 /用戶/數據/ prueba_concepto
HDFS：///

我什至嘗試了GarciGarcía在此提供的解決方案： Pentaho Hadoop File Input ，將端口設置為8020並使用以下uri：

HDFS：//內停：@localhost：8020 /用戶/數據/ prueba_concepto / ListadoProductos_2017_02_13-15_59_con_id.csv

然后將其更改回9001並嘗試相同的技術：

HDFS：//內停：@localhost：9001 /用戶/數據/ prueba_concepto / ListadoProductos_2017_02_13-15_59_con_id.csv

但是對於我來說仍然沒有任何效果……每當我按Mostrar Fichero ...按鈕（顯示文件）時，都會彈出一個錯誤消息，提示找不到該文件。

謝謝。

Answer 1

Okey，所以我實際上解決了這個問題。

我必須從“視圖”選項卡中添加一個新的Hadoop群集->右鍵單擊Hadoop群集->新建

在那里，我必須輸入我的HDFS Hadoop配置：

此后，如果您單擊“測試”按鈕，則某些測試將失敗。 我將本地LOCAL Hadoop配置文件（$ LOCAL_HADOOP_HOME / etc / hadoop / core-site.xml）中的所有配置屬性復制到了勺子的hadoop配置文件中，從而解決了第二個問題：

數據集成/插件/ Pentaho的，大數據的插件/ Hadoop的配置/ hdp25 /核心的site.xml

之后，我不得不修改data-integration / plugins / pentaho-big-data-plugin / plugin.properties並將屬性“ active.hadoop.configuration”設置為hdp25：

active.hadoop.configuration = hdp25

重新啟動湯匙，您就可以走了。