Scala：如何返回镶木地板文件的选项[Dataframe]（位于adls中）-不使用spark / sql会话

Question

以下链接可能是提示，但是很高兴看到一些执行此操作的示例代码

从Scala读取Parquet文件而不使用Spark

Answer 1

DataFrame是Spark的分布式数据集合之一； Spark创建分布式集合的唯一方法是通过有效的SparkSession 。 没有它就无法创建一个DataFrame 。

您提供的链接显示了如何将Parquet文件加载到非分布式集合中，而不是加载到DataFrame 。

SparkSession的最简单类型是本地的 ，Spark的所有组件实际上都在进程内运行。 这意味着此会话不需要任何配置设置（没有在任何地方运行或安装现有的Spark进程）。 这主要对测试有用，但可能对您的用例有用。 创建方法如下：

import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder.appName("test").master("local").getOrCreate