使用 MongoDB Spark Connector 根據時間戳進行過濾

Question

我正在使用Spark MongoDB 連接器從 mongodb 獲取數據。但是我無法獲得如何使用聚合管道（rdd.withPipeline）在 Mongo 上使用 Spark 進行查詢。以下是我想要根據時間戳獲取記錄的代碼& 存儲在 dataframe:

 val appData=MongoSpark.load(spark.sparkContext,readConfig)
val df=appData.withPipeline(Seq(Document.parse("{ $match: { createdAt : { $gt : 2017-01-01 00:00:00 } } }"))).toDF()

這是使用 spark 作為時間戳值查詢 mongodb 的正確方法嗎？

Answer 1

如評論所述，您可以將擴展JSON格式用於日期過濾器。

val appDataRDD  = MongoSpark.load(sc)
val filteredRDD = appDataRDD.withPipeline(Seq(Document.parse("{$match:{timestamp:{$gt:{$date:'2017-01-01T00:00:00.000'}}}}")))
filteredRDD.foreach(println)

另請參閱MongoDB Spark連接器：過濾器和聚合以查看替代過濾器。

Answer 2

嘗試這個：

val pipeline = "{'$match': {'CreationDate':{$gt: {$date:'2020-08-26T00:00:00.000Z'}}}}"

val sourceDF = spark.read.format("com.mongodb.spark.sql.DefaultSource").option("uri", "mongodb://administrator:password@10.XXXXX:27017/?authSource=admin").option("database","_poc").option("collection", "activity").option("pipeline", pipeline).load()

Answer 3

試試這個（但它有像 mongo date 這樣的限制，ISODate 只能采用 TZ 格式的時間戳。

option("pipeline", s"""[{ $$match: { "updatedAt" : { $$gte : new ISODate("2022-11-29T15:26:21.556Z") } } }]""").mongo[DeltaComments]