如何每5分鍾使用spark分析一次pv，uv，ip

Question

如何每天每5分鍾分析一次uv，pv，ip，並存儲Mysql。 數據來自Kafka，格式如下：

Message sent: {"cookie":"a95f22eabc4fd4b580c011a3161a9d9d","ip":"125.119.144.252","event_time":"2017-08-07 10:50:16"}
Message sent: {"cookie":"6b67c8c700427dee7552f81f3228c927","ip":"202.109.201.181","event_time":"2017-08-07 10:50:26"}

就像00：00-00：05 00：05--00：10等等，我用過：

val write=new JDBCSink()
       val query=counts.writeStream.foreach(write).outputMode("complete")
          .trigger(ProcessingTime("5 minutes"))    
          .start()

但是當我在00:01提交它或它崩潰時，如何確定它不會像00：01-00：06這樣分析。

Answer 1

使用window功能：

query = counts.groupBy(window('event_time', '5 second')).agg()
query.writeStream.start()