是否可以将Spark ML CrossValidatorModel应用于Flink Streaming数据流？

Question

Flink是流式传输的明显选择，但是Spark已经成熟了ML pipelines ，是否可以在Spark中训练模型，将其另存为CrossValidatorModel并部署到Flink流式数据？ 都在scala吗？

Answer 1

Flink当前（2017年3月，Flink 1.2）不支持为流提供服务的机器学习模型。 但是，这是社区当前正在讨论的功能。

随时在Flink中提交JIRA以请求该功能。

在Flink提供官方支持之前，可能还有其他方法可以将模型加载到Flink中。 （免责声明：我实际上不是Spark ML的专家）。 从JavaDocs来看， CrossValidatorModel似乎具有方法write() ，该方法返回带有save(String path)方法的MLWriter 。

您可以在Spark中构建模型，使用MLWriter保存模型，然后使用MLReader在Flink中再次加载模型并在流中使用它。