[英]How to check if a file exists in Google Storage from Spark Dataproc?
我假设 Google 存储连接器将允许直接查询 GS,就好像它是 Dataproc 中来自 Spark 的 HDFS 一样,但看起来以下内容不起作用(来自 Spark Shell):
scala> import org.apache.hadoop.fs.FileSystem
import org.apache.hadoop.fs.FileSystem
scala> import org.apache.hadoop.fs.Path
import org.apache.hadoop.fs.Path
scala> FileSystem.get(sc.hadoopConfiguration).exists(new Path("gs://samplebucket/file"))
java.lang.IllegalArgumentException: Wrong FS: gs://samplebucket/file, expected: hdfs://dataprocmaster-m
有没有办法只使用 Hadoop API 访问 Google 存储文件?
这是因为FileSystem.get(...)
返回默认的FileSystem
,根据您的配置,该文件系统为HDFS
,并且只能使用以hdfs://
开头的路径。 使用以下命令获取正确的FS。
Path p = new Path("gs://...");
FileSystem fs = p.getFileSystem(...);
fs.exists(p);
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.hadoop.fs.{FileSystem, Path}
val p = "gs://<your dir>"
val path = new Path(p)
val fs = path.getFileSystem(sc.hadoopConfiguration)
fs.exists(path)
fs.isDirectory(path)
我翻译了@Pradeep Gollakota 对 PySpark 的回答,谢谢!!
def path_exists(spark, path): #path = gs://.... return true if exists
p = spark._jvm.org.apache.hadoop.fs.Path(path)
fs = p.getFileSystem(spark._jsc.hadoopConfiguration())
return fs.exists(p)
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.