如何使用 sparklyr 热编码/生成虚拟列

Question

我知道这里有很多与此类似的问题，但是 1) 大多数解决方案依赖于已弃用的函数，例如ml_create_dummy_variables和 2) 其他解决方案不完整。

是否有函数或方法可以轻松地将分类变量热编码为 sparklyr 中的多个虚拟变量？

这篇文章要求在 SparkR 中找到一个解决方案，顺便说一下，给出了一个 sparklyr 解决方案，该解决方案仅在给定列中的类别唯一时才有效，这使其毫无意义。

此解决方案会导致每个类别使用一个虚拟对象而不是一个虚拟对象（获取第一个类别）。 这也是我偶然发现的解决方案（基于这篇文章），它并没有削减它：

iris_sdf <- copy_to(sc, iris, overwrite = TRUE)

iris_sdf %>%
  ft_string_indexer(input_col = "Species", output_col = "species_num") %>%
  mutate(cat_num = species_num + 1) %>%
  ft_one_hot_encoder("species_num", "species_dum") %>%
  ft_vector_assembler(c("species_dum")) 

我正在寻找一种解决方案，该解决方案将从iris数据集中获取Species并生成三列 - Species每个类别（virginica、setosa 和 versicolor）。 使用 R， fastDummies包有我需要的东西，但我想知道如何在 sparklyr 中实现类似的功能。

同样，我会注意到ml_create_dummy_variables （由这篇文章建议）产生了以下错误：

Error in ml_create_dummy_variables(., "species_num", "species_dum") : Error in ml_create_dummy_variables(., "species_num", "species_dum") : 
  could not find function "ml_create_dummy_variables"

注意：我使用的是sparklyr_1.3.1