将 csv 文件读入数据帧并使用 Scala 访问它

Question

我有一个 csv 文件，其中包含如下数据 -

a1, 1
a2, 2
a3, 3

当我像 filter(a1)._2 那样为 a1 放置过滤器时，我想得到输出为 1 。

Answer 1

所以确切的语法将取决于您的特定版本的 Spark。 在 Spark v2.4.3 中，你会这样做：

val df: DataFrame = sparkSession.sqlContext.read.option("header", 
"false").csv("/path/to/some.csv")

从那里你可以应用数据框操作来过滤你的数据：

df.select($"_c1").filter($"_c0" === "a1").show