Databricks - FileNotFoundException

Question

如果這是基本的，我很抱歉，我錯過了一些簡單的東西。 我正在嘗試運行下面的代碼以遍歷文件夾中的文件並將以特定字符串開頭的所有文件合並到 dataframe 中。所有文件都位於一個湖中。

file_list=[]
path = "/dbfs/rawdata/2019/01/01/parent/"
files  = dbutils.fs.ls(path)
for file in files:
    if(file.name.startswith("CW")):
       file_list.append(file.name)
df = spark.read.load(path=file_list)

# check point
print("Shape: ", df.count(),"," , len(df.columns))
db.printSchema()

這對我來說看起來不錯，但顯然這里有問題。 我在這一行收到一個錯誤：
files = dbutils.fs.ls(path)

錯誤信息如下：

java.io.FileNotFoundException: File/6199764716474501/dbfs/rawdata/2019/01/01/parent does not exist.

路徑、文件和其他一切都肯定存在。 我嘗試使用和不使用“dbfs”部分。 會不會是權限問題？ 還有別的嗎？ 我用谷歌搜索了一個解決方案。 仍然無法獲得牽引力。

Answer 1

如果您的父文件夾從“rawdata”開始，請確保您有一個名為“dbfs”的文件夾，路徑應為“/rawdata/2019/01/01/parent”或“rawdata/2019/01/01/parent”。

如果路徑不正確，則會引發錯誤。

Answer 2

這是一個舊線程，但如果有人仍在尋找解決方案：它確實需要將路徑列為：“dbfs:/rawdata/2019/01/01/parent/”