Hadoop HDFS猫管道EdgeNode到HDFS

Question

我正在尝试通过管道将数据从本地edgenode发送到hdfs。 目的是模拟来自外部服务器的数据，这些数据经过边缘节点并到达管道后再进入hdfs。 这是我们的要求。 我已经尝试了以下命令，但它似乎停滞了。

mkfifo my_pipe
cat mysqlfile.sql my_pipe & cat pipe | hdfs dfs -put /user/bob/test.txt

Answer 1

如果你cat命名管道它将挂断，因为它等待，直到EOF 。

如果要使用管道执行此操作，也许您应该尝试更简单的方法：

cat mysqlfile.sql | hadoop fs -put - /path/you/desire/file.txt

您将在此线程上找到有关命名管道，cat和tail的有用信息。