使用 Python 從 HDFS 中提取文件名

Question

我正在使用 Python，我需要直接通過 python 獲取文件夾中的文件名列表（保存為 HDFS），並將文件名（.wav 文件）與其路徑分開（我只需要名稱）。 我在想可能是我可以使用 pyspark 或子進程，但它們只將整個“路徑+文件名”作為字節給出，而不是分開的，而且很難將它們分開。 如果有人可以幫助我，我將不勝感激。

import subprocess 

p = subprocess.Popen("hdfs dfs -ls <directory>",
shell=True,
stdout=subprocess.PIPE,
stderr=subprocess.STDOUT)

for line in p.stdout.readlines():
print(line)

Answer 1

這給出了列表數據類型的輸出

import subprocess
out=subprocess.check_output(["hadoop","fs","-ls","<directory>"] ).split("\n")
out

Answer 2

使用遞歸遍歷 hdfs 的HDFS CLI ，

from hdfs import InsecureClient
client = InsecureClient(hostname, user)

get_file = []
for dir_,sub_dir, files in client.walk():
    if files:
        get_file.append(files)

Answer 3

使用這個：

from subprocess import Popen, PIPE
hdfs_path = '/path/to/the/designated/folder'
process = Popen(f'hdfs dfs -ls -h {hdfs_path}', shell=True, stdout=PIPE, stderr=PIPE)
std_out, std_err = process.communicate()
list_of_file_names = [fn.split(' ')[-1].split('/')[-1] for fn in std_out.decode().readlines()[1:]][:-1]
list_of_file_names_with_full_address = [fn.split(' ')[-1] for fn in std_out.decode().readlines()[1:]][:-1]