如何使用python將文件保存在hadoop中

Question

我正在嘗試使用python 2.7將文件保存在Hadoop中。 我在互聯網上搜索。 我有一些代碼可以將文件保存在Hadoop中，但是在保存時會占用整個文件夾（文件夾中的所有文件都保存在Hadoop中）。 但是我需要保存一個特定的文件。

以下是在Hadoop中保存文件夾的鏈接： http : //www.hadoopy.com/en/latest/tutorial.html#putting-data-on-hdfs

現在，我需要在Hadoop中保存一個特定文件，例如abc.txt 。

這是我的代碼：

import hadoopy
hdfs_path = 'hdfs://192.168.x.xxx:xxxx/video/py5'
def main():
   local_path = open('abc.txt').read()
   hadoopy.writetb(hdfs_path, local_path)


if __name__ == '__main__':
    main()

在這里，我need more than one value to unpack

任何幫助，將不勝感激。

Answer 1

hadoopy.writetb似乎希望將兩個值的可迭代值作為其第二個參數。 嘗試：

hadoopy.writetb(hdfs_path, [("abc.txt", open("abc.txt").read())])

Answer 2

http://www.hadoopy.com/en/latest/api.html?highlight=hadoopy.writetb#hadoopy.writetb

writedb需要第二個arg作為kvs –（鍵，值）的迭代器

按照您給出的鏈接，您已經忘記在代碼中復制函數read_local_dir 。