Scala：如何返回鑲木地板文件的選項[Dataframe]（位於adls中）-不使用spark / sql會話
[英]Scala: How can I return Option[Dataframe] of parquet file(which is in adls) - without using spark/sql session
1 個解決方案
解決方案1
0 已采納 2018-09-13 22:23:59
DataFrame是Spark的分布式數據集合之一； Spark創建分布式集合的唯一方法是通過有效的SparkSession 。 沒有它就無法創建一個DataFrame 。
您提供的鏈接顯示了如何將Parquet文件加載到非分布式集合中，而不是加載到DataFrame 。
SparkSession的最簡單類型是本地的 ，Spark的所有組件實際上都在進程內運行。 這意味着此會話不需要任何配置設置（沒有在任何地方運行或安裝現有的Spark進程）。 這主要對測試有用，但可能對您的用例有用。 創建方法如下：
import org.apache.spark.sql.SparkSession
val spark = SparkSession.builder.appName("test").master("local").getOrCreate
我們如何使用 spark 和 scala 在 azure blob 存儲中上傳 parquet 文件？
[英]how we can upload parquet file in azure blob storage using spark and scala?
使用沒有Databricks的scala將spark 3.0 sql數據幀寫入CSV文件時出錯
[英]Error while writing spark 3.0 sql dataframe to CSV file using scala without Databricks
如何使用火花流讀取.csv文件並使用Scala寫入鑲木地板文件？
[英]How to read .csv files using spark streaming and write to parquet file using Scala?
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
相關問題
在沒有Spark的情況下在Scala中創建Parquet文件
如何在 spark scala 中讀取多個鑲木地板文件
我們如何使用 spark 和 scala 在 azure blob 存儲中上傳 parquet 文件？
如何刪除 spark scala 中的鑲木地板文件？
使用沒有Databricks的scala將spark 3.0 sql數據幀寫入CSV文件時出錯
如何使用Spark＆Scala讀取此avro文件？
在不使用Spark的情況下從Scala讀取Parquet文件
如何使用火花流讀取.csv文件並使用Scala寫入鑲木地板文件？
如何在Spark中投影實木復合地板文件？
如何在 Spark-Scala 數據幀中應用布爾索引？
相關標簽