如何在不使用RDD的情況下將文本（.txt）文件寫入數據框並在控制台上打印

Question

我想將.txt文件寫入數據框並在控制台上打印

我嘗試過以與通過數據幀將.csv文件打印到控制台相同的方式進行打印

def txtreader（）：DataFrame = {

val loadTxt=spark.read
            .format("txt")
  .option("header","true")
  .load("C:\\Users\\1591532\\Spark-Learning-Workspace\\Text Files\\abc.txt")

return loadTxt

我收到一個錯誤“無法找到數據源：txt”。

Answer 1

對於Spark 1.6及更高版本，可以使用csv數據源：

val df = spark.read.csv("file.txt")

對於您的情況，您還可以指定標題選項，分隔符等，例如：

val df = spark.read.option("header", "true").option("delimiter", ";").csv("file.txt")

Answer 2

請找到以下代碼以閱讀文本文件。

scala> spark.read.text("sample.txt")
res34: org.apache.spark.sql.DataFrame = [value: string]

scala> res34.show
+-----+
|value|
+-----+
|  abc|
+-----+