[英]Scala - How to pass a string value to a data frame filter (Spark-Shell)
我在Spark-Shell环境中使用Spark 2.2.0和Scala 2.11.8。 我有一个数据帧df,我需要根据“日期”列的值过滤掉前一天的数据,然后将数据附加到HDFS位置。 (例如今天是2018-06-28,我需要2018-06-27的数据)
下面是代码:
df.filter($"date" === "2018-06-27") .write.mode(SaveMode.Append).parquet("hdfs:/path..../date=2018-06-27")
我需要上面的代码来实现自动化,因此我需要将“ 2018-06-27”替换为过滤器值以及目录名称。 因此,如果我有一个字符串-> date_test:字符串= 2018-06-27; 下面的代码应该仍然有效
df.filter($"date" === "date_test") .write.mode(SaveMode.Append).parquet("hdfs:/path..../date=date_test")
这个怎么做?
您可以像下面这样应用过滤条件
//Input
+----------+
| date|
+----------+
|2018-02-01|
|2017-01-02|
+----------+
//Solution:
val previousDate="'2018-02-01'"
df.filter(s"date=$previousDate").show
//Output:
+----------+
| date|
+----------+
|2018-02-01|
+----------+
您可以这样解决您的问题
val datetest:String="2018-02-01"
df.filter(s"date='$datetest'").write.mode(SaveMode.Append).parquet(s"hdfs:/path..../$datetest")
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.