将 Spark 结构化流与 StreamingKMeans 结合使用

Question

我想要使用 Spark 对流式数据集进行聚类。 我首先尝试使用 Kmeans，但它在调用 fit 方法时抛出运行时异常，表示它不能与流数据一起使用：

org.apache.spark.sql.AnalysisException: Queries with streaming sources must be executed with writeStream.start();

然后我尝试使用 StreamingKmeans，但它接缝这个 model 仅适用于 Spark 中的旧流媒体并接受 DStream。 有谁知道这个问题的解决方法或其他解决方案？

到目前为止我写的代码如下：

        Dataset<Row> df = spark.readStream()
                .format("kafka")
                .option("kafka.bootstrap.servers", "localhost:9092")
                .option("subscribe", topic)
                .load()
                .selectExpr("CAST(value AS String)")
                .select(functions.from_json(new Column("value"), schema).as("data"))
                .select("data.*");

        VectorAssembler assembler = new VectorAssembler()
                .setInputCols(features)
                .setOutputCol("features");
        df = assembler.transform(df);


        StreamingKMeans kmeans = new StreamingKMeans().setK(3).setDecayFactor(1.0);
        StreamingKMeansModel model = kmeans.predictOn(df);

无法解析方法'predictOn(org.apache.spark.sql.Dataset<org.apache.spark.sql.Row>)

Answer 1

最后我发现这是不可能的，所以我切换到 DStream 而不是 Structured Streaming