如何使用python处理hdfs中的文件

Question

有人可以告诉我如何在python程序中打开和处理hdfs中的文件吗？

谢谢

Answer 1

您可以使用以下之一：

https://code.google.com/p/libpyhdfs/

https://github.com/traviscrawford/python-hdfs

或者只是在没有外部库的情况下做类似的事情：

file = subprocess.Popen(["hadoop", "fs", "-cat", "/path/to/file"], stdout=subprocess.PIPE)
for line in file.stdout:
    print line