我是 Flink(和 Java)的新手,我来自 ML/DS 背景,所以决定实现一些与我所知道的相关的东西——线性回归学习器。 为此,我认为我会使用 flink.ml.* 中可用的 DenseVector 原语。 这是我非常困惑的地方,如果有人能在这里帮助我,我将不胜感激。 无论如何,我开始谷歌搜索并 ...
我是 Flink(和 Java)的新手,我来自 ML/DS 背景,所以决定实现一些与我所知道的相关的东西——线性回归学习器。 为此,我认为我会使用 flink.ml.* 中可用的 DenseVector 原语。 这是我非常困惑的地方,如果有人能在这里帮助我,我将不胜感激。 无论如何,我开始谷歌搜索并 ...
对于如何安装我实际需要的依赖项,我有点困惑。 我是 Java 和 Flink 的新手,我想我在这里遗漏了一些小东西。 我正在做一个基本练习,我需要DenseVector class,它支持基本的数学运算。 我搜索了flink文档并找到了这个 class 。 所以它的人工制品 ID 是org.apa ...
我是 Flink 的新手,正在尝试在 Flink 中使用预训练的分类器来检测 Twitter 上的仇恨言论。 我有一个在 Python 上训练的 SVM 分类器,但我不知道如何在 Flink 代码中使用它。 这里的一篇文章谈到了异步操作,但它超出了我的想象。 我也尝试过使用 PMML,但遇到了一 ...
我想用 ALS 算法在 Apache Flink 上实现实时推荐。 model 可以预先使用 Batch 进行训练,然后加载到 Flink 中。 然后应处理数据的输入 stream 并将其用于预测。 自 Flink 1.9 起不再包含库 FlinkMl。 除此之外,还有许多使用 Apache F ...
我想知道是否有一种方法(或某种代码示例)可以在 Flink 流应用程序中加载经过编码的预训练 model(用 python 编写)。 所以我可以使用从文件系统加载的权重和来自 stream 的数据来拟合 model。 先感谢您 ...
当我将 flink 作业应用于 k8s zookeeper ha 时,出现以下错误。 我们的结构是工作集群。 1 个工作和 1 个任务。 我们希望在删除作业 pod 的同时实现任务仍然可以继续工作。 job 00000000000000000000000000000000 is not in st ...
我目前正在开发一个 stream 处理应用程序,其中一个功能是获取在时区发生的事件 [提交作业的时间,提交作业的时间 + T]。 如何使用 Flink 中的 stream 处理 API 访问该特定变量(提交作业的时间)? 谢谢你。 ...
是否可以将 PyFlink 与诸如 LightGBM 之类的 Python 机器学习库一起用于流媒体应用程序? 有什么好的例子吗? ...
我们正在离线训练机器学习模型并将它们保存在 python pickle 文件中。 我们想知道将这些pickeled 模型嵌入到流中的最佳方式(例如sensorInputStream > PredictionJob > OutputStream。 Apache Flink ML 似乎 ...
最近没有看到太多关于 FlinkML 的讨论——它是死了还是死了? 最近一些有趣的现场用法有哪些例子? ...
我目前正在使用 Apache Flink 的 SVM-Class 来预测一些文本数据。 class 提供了一个预测函数,它将 DataSet[Vector] 作为输入并给我一个 DataSet[Prediction] 作为结果。 到目前为止,一切都很好。 我的问题是,我没有预测属于哪个文本的上下文 ...
我正在使用 Apache Flink 来预测来自 Twitter 的流。 代码在 Scala 中实现我的问题是,我从数据集 API 训练的 SVM 模型需要一个数据集作为 predict() 方法的输入。 我已经在这里看到了一个问题,用户说,您需要编写一个自己的 MapFunction,它在工作开始 ...
是否可以使用已经批量训练的模型对Apache Flink中的dataStream进行预测? svm的预测函数需要将数据集作为输入,而不需要数据流。 不幸的是,我无法弄清楚如何使用flatpMap / map函数。 我以这种方式训练了我的SVM模型: val svm2 = ...
我尝试用flink-ml svm实现做一些二进制分类。 当我评估分类时,我在训练数据集上得到了大约85%的错误率。 我绘制了3D数据,看起来你可以用超平面很好地分离数据。 当我试图从svm中获取权重向量时,我只看到了获取权重向量而没有截取超平面的选项。 所以只是超平面通过(0,0 ...
当我尝试使用 window 和 fold 函数聚合元素时,某些元素在聚合时丢失了。 使用来自 Kafka 的元素(value:0, value:1, value:2, value:3)并将它们聚合为奇数和偶数值。 输出是: 10-13 之间的数字缺失,这发生在一组随机数字上。 有人可以建议下 ...
我正在尝试使用Zeppelin在Flink(Scala)中开发K-均值模型。 这是我的简单代码的一部分: 当我打印数据或使用预测方法时,出现此错误 : 我不知道这是否是我的错载入数据或它的东西,如相关的那个 。 谢谢你的帮助! :) ...
我已经训练了一个多元回归模型,现在我想用它来预测。 阅读文档,我知道输入是带标签的向量,输出是具有元组[ InputValue,PredictValue ]的数据集,对吗? 我创建了标记的Vector: 通过创建和训练我的模型,我可以预测: 我收到此错误 : ...
我正在寻找一个教程,告诉我们设置基本的 apache flink 机器学习。 当前可用的材料是 Scala 语言的。 ...
Flink版本:1.2.0 Scala版本:2.11.8 我想使用DataStream来预测使用scala在flink中使用模型。 我使用scala在flink中有一个DataStream [String],它包含来自kafka源的json格式数据。我想使用这个数据流来预测已经训练的 ...
我有一个flink数据集(从文件中读取),其中包含来自许多不同传感器的传感器读数。 我使用flinks groupBy()方法将每个传感器的数据组织为UnsortedGrouping。 接下来,我想以分布式方式在我的数据集中的每个UnsortedGrouping上运行KMeans算法。 ...