如何從HDFS讀取文本文件到Python，然后將內容保存為字符串？

Question

我有一個.txt文件保存在HDFS中，我想用Python讀取該文件並將內容保存在字符串變量中。 我該怎么做？

Answer 1

您可以使用pyhdfs包從HDFS服務器下載文件，然后讀取文件並將其加載到字符串變量中

import pyhdfs
hdfsclient = pyhdfs.HdfsClient('HDFS_URL')

# to copy from HDFS SERVER
hdfsclient.copy_to_local(HDFS_source_file_path, LOCAL_target_file_path)

file = open(“local_file.txt”, “r”) 
String_var = file.read() 

# to copy to the HDFS SERVER
hdfsclient.copy_from_local(LOCAL_source_file_path, HDFS_target_file_path)