HDFS 中的 Pyspark 重命名文件

Question

我正在使用 spark 2.3.1 並想在 pyspark 程序中重命名 HDFS 文件。 我正在關注這個答案[ https://stackoverflow.com/a/58172249/12927963] （Pyspark）

對於這條線

fs.rename（路徑（hdfs_dir+''+file_name），路徑（hdfs_dir+''+new_filename））

我得到以下錯誤。

NameError：名稱“路徑”未定義

如果我從行中刪除 Path 關鍵字

我收到以下錯誤。

Py4JError：調用 o562.rename 時出錯。 跟蹤：py4j.Py4JException：方法重命名（[類 java.lang.String，class java.lang.String]）不存在

那么如何解決這個問題呢？

Answer 1

定義路徑為

Path = sc._gateway.jvm.org.apache.hadoop.fs.Path