使用Python在hdfs上读/写文件

Question

我是Python的新手，我想从hdfs读取一个文件（我已经实现了）。

在读取文件后，我正在进行一些字符串操作，我想将这些修改后的内容写入输出文件。

读取我使用子进程（花了很多时间）实现的文件，因为打开对我不起作用。

cat = Popen(["hadoop", "fs", "-cat", "/user/hdfs/test-python/input/test_replace"],stdout=PIPE)

现在，如何使用修改后的内容写入输出文件是个问题。

非常感谢您的帮助

Answer 1

您可以使用库来读取和写入HDFS，例如https://github.com/mtth/hdfs