我可以逐行讀取hadoop文件嗎

Question

我想從hadoop文件系統中逐行讀取unix框中的記錄：

范例-

while read line

do 

echo "input record " $line
###some other logic i have here....
done < /user/want/to/read/from/hadoop/part00

上面的代碼段顯示了我的錯誤-

**: cannot open [No such file or directory]**

如何使用Unix工具從Hadoop中讀取信息？

Answer 1

使用hadoop fs命令訪問以下文件的內容：

while IFS= read -r line; do
  echo "Read: $line"
done < <(hadoop fs -cat hdfs://nodename/filename)

注意<()構造需要bash; 因此，您的腳本需要以#!/bin/bash開頭，而不是#!/bin/sh 。