Hadoop HDFS貓管道EdgeNode到HDFS

Question

我正在嘗試通過管道將數據從本地edgenode發送到hdfs。 目的是模擬來自外部服務器的數據，這些數據經過邊緣節點並到達管道后再進入hdfs。 這是我們的要求。 我已經嘗試了以下命令，但它似乎停滯了。

mkfifo my_pipe
cat mysqlfile.sql my_pipe & cat pipe | hdfs dfs -put /user/bob/test.txt

Answer 1

如果你cat命名管道它將掛斷，因為它等待，直到EOF 。

如果要使用管道執行此操作，也許您應該嘗試更簡單的方法：

cat mysqlfile.sql | hadoop fs -put - /path/you/desire/file.txt

您將在此線程上找到有關命名管道，cat和tail的有用信息。