如何使用python處理hdfs中的文件

Question

有人可以告訴我如何在python程序中打開和處理hdfs中的文件嗎？

謝謝

Answer 1

您可以使用以下之一：

https://code.google.com/p/libpyhdfs/

https://github.com/traviscrawford/python-hdfs

或者只是在沒有外部庫的情況下做類似的事情：

file = subprocess.Popen(["hadoop", "fs", "-cat", "/path/to/file"], stdout=subprocess.PIPE)
for line in file.stdout:
    print line