將 csv 文件讀入數據幀並使用 Scala 訪問它

Question

我有一個 csv 文件，其中包含如下數據 -

a1, 1
a2, 2
a3, 3

當我像 filter(a1)._2 那樣為 a1 放置過濾器時，我想得到輸出為 1 。

Answer 1

所以確切的語法將取決於您的特定版本的 Spark。 在 Spark v2.4.3 中，你會這樣做：

val df: DataFrame = sparkSession.sqlContext.read.option("header", 
"false").csv("/path/to/some.csv")

從那里你可以應用數據框操作來過濾你的數據：

df.select($"_c1").filter($"_c0" === "a1").show