為什么我無法在 EMR 上的 Spark scala 中打開本地文件

Question

我在工作中使用 AWS EMR。 如果我啟動 spark shell，我可以運行 scala 命令，但無法讀取本地文件。

例如：

scala> val citi = spark.read.textFile("CitiGroup2006")
org.apache.spark.sql.AnalysisException: Path does not exist: hdfs://ip-10-99-99-99.ec2.internal:8020/user/hadoop/CitiGroup2006;

我嘗試輸入文件的完整路徑，但出現相同的錯誤。 該文件位於我啟動 spark shell 的同一目錄中。 但是它確實可以加載 scala 文件

:load hello.scala

為什么“加載”有效，但 spark.read.textFile 無效？

Answer 1

在 Scala 上沒有那么強。
但它看起來像從 HDFS 讀取的spark.read.file ，我猜你的文件在 EMR 本地。
您可以使用以下命令查看 HDFS 上的文件：
$ hdfs dfs -ls
並使用-put check out 復制文件hadoop 將本地文件系統文件夾復制到 HDFS和hadoop-common/FileSystemShell