[英]Java spark unable to load file from local file system in spark sql
我是在 ubuntu 18.0 上用 java 激發和學習火花的新手,沒有明確的集群。 我將 data.csv 文件保存在 java/main/resources 文件夾中的本地文件系統中。
在執行以下代碼時,
SparkSession sparkSession = SparkSession.builder()
.appName("sparksql").master("local[*]")
.getOrCreate();
Dataset<Row> dataset = sparkSession.read()
.option("header", true)
.csv("/media/home/work/sparksamples/src/main/resources/exams/test.csv");
下面的錯誤來了:
20/11/23 16:07:46 警告 NativeCodeLoader:無法為您的平台加載本機 Hadoop 庫...在適用的情況下使用內置 Java 類
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hdfs/DistributedFileSystem
at org.apache.spark.sql.execution.datasources.InMemoryFileIndex$.listLeafFiles(InMemoryFileIndex.scala:316)
at org.apache.spark.sql.execution.datasources.InMemoryFileIndex$.$anonfun$bulkListLeafFiles$1(InMemoryFileIndex.scala:195)
at scala.collection.TraversableLike.$anonfun$map$1(TraversableLike.scala:238)
at scala.collection.mutable.ResizableArray.foreach(ResizableArray.scala:62)
at scala.collection.mutable.ResizableArray.foreach$(ResizableArray.scala:55)
Could 20/11/23 16:07:46 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hdfs/DistributedFileSystem
at org.apache.spark.sql.execution.datasources.InMemoryFileIndex$.listLeafFiles(InMemoryFileIndex.scala:316)
at org.apache.spark.sql.execution.datasources.InMemoryFileIndex$.$anonfun$bulkListLeafFiles$1(InMemoryFileIndex.scala:195)
at scala.collection.TraversableLike.$anonfun$map$1(TraversableLike.scala:238)
at scala.collection.mutable.ResizableArray.foreach(ResizableArray.scala:62)
at scala.collection.mutable.ResizableArray.foreach$(ResizableArray.scala:55)
如何在 Ubuntu 中不使用 hdfs 從本地文件系統加載文件?
這是由於在最新版本 - 3.3 中缺少 hadoop-client jar。
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>3.3.0</version>
</dependency>
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.