"Sparklyr 中的 Concat_ws() 函数丢失"

Question

我正在关注有关网络（Adobe）分析的教程，我想在其中构建马尔可夫链模型。 （ http:\/\/datafeedtoolbox.com\/attribution-theory-the-two-best-models-for-algorithmic-marketing-attribution-implemented-in-apache-spark-and-r\/<\/a> ）。

在示例中，他们使用函数： concat_ws<\/strong> （来自 library(sparklyr)）。 但看起来该函数不存在（安装软件包并调用库后，我收到一个函数不存在的错误......）。

博客的评论作者：<\/strong> concat_ws 是一个 Spark SQL 函数： https<\/a> :\/\/spark.apache.org\/docs\/2.2.0\/api\/java\/org\/apache\/spark\/sql\/functions.html 所以，你会有依靠 sparklyr 使该功能正常工作。

我的问题：是否有解决方法可以访问 concat_ws() 函数？ 我试过：

• 如果我能找到函数（或源代码），请在 Github（ https:\/\/github.com\/rstudio\/sparklyr<\/a> ）上搜索。不幸的是，没有结果。<\/li><\/ul>

  该函数的目标是什么？<\/strong> 使用给定的分隔符将多个输入字符串列连接到一个字符串列中。<\/em>

  "

Answer 1

您可以简单地使用基数R中的paste 。

library(sparklyr)
library(dplyr)

config <- spark_config()
sc <- spark_connect(master = "local", config = config)

df <- as.data.frame(cbind(c("1", "2", "3"), c("a", "b", "c")))
sdf <- sdf_copy_to(sc, df, overwrite = T)

sdf %>%
  mutate(concat = paste(V1, V2, sep = "-"))

Answer 2

您找不到该函数，因为它在sparklyr软件包中不存在。 concat_ws是Spark SQL函数（ org.apache.spark.sql.functions.concat_ws ）。

sparklyr取决于SQL转换层-使用dbplyr将函数调用转换为SQL表达式：

> dbplyr::translate_sql(concat_ws("-", foo, bar))
<SQL> CONCAT_WS('-', "foo", "bar")

这意味着该函数只能在sparklyr上下文中应用：

sc <- spark_connect(master = "local[*]")
df <- copy_to(sc, tibble(x="foo", y="bar"))

df %>% mutate(xy = concat_ws("-", x, y))
# # Source: spark<?> [?? x 3]
#   x     y     xy     
# * <chr> <chr> <chr>  
# 1 foo   bar   foo-bar

Answer 3

我对 dbplyr（BigQuery 数据库）也有类似的问题。

问题<\/h3>

我不断收到错误：

解决方案<\/h3>
我编写了自定义 SQL 并将其放在sql()<\/code>中。
例子<\/h3>
一旦您知道将生成您所追求的 SQL（在我的情况下是CONCAT(date_char, ' ', time_char)<\/code> ），然后只需将其放在sql()<\/code>函数中，如下所示：