Regexp_replace Scala-Spark 数据帧中 unicode（表情符号）的一部分

Question

我试图用火花regexp_replace全部更换表情符号，它的Unicode开始与\?和只替换与Unicode的一部分\? ，但我没有运气。

下面是一个例子：

我想获取“😂”的所有实例（在 Scala 中为\?\? ）并将它们替换为“😂”。 使用一个表情符号很容易，并且可以使用以下代码：

.select(functions.regexp_replace($"text2", "[(\uD83D\uDE02)]", " \uD83D\uDE02").as("split2"))

使用上面的代码，如果我在 text2 列中有一个像“😂😂😂😂”这样的字符串，它将把它变成“😂😂😂😂😂”，然后我可以很容易地按空格分割。

我想将此应用于所有以\?开头的表情符号，所以我认为这样做应该有效，但它没有：

.select(functions.regexp_replace($"text2", "[(\uD83D)]", " \uD83D").as("split2"))

这不会以任何方式影响数据。 即使以下内容也不会以任何方式影响数据，无论是否带有括号和/或括号：

.select(functions.regexp_replace($"text2", "[(u)]", " \uD83D").as("split2"))

如果我可以只替换这些 un​​icode 字符串的前 6 个字符，那么 text2 列中的以下内容：“😱😂😂😱”将导致“😱😂😂😱”，这正是我所需要的。

谢谢你的帮助！

Answer 1

您可以使用此正则表达式\\\\B\?.{1}并替换为捕获的组$1和空间。 然后修剪以摆脱最后一个空格并拆分：

val df = Seq(
  ("😂😂😂😂"),
  ("😱😂😂😱")
).toDF("text2")

df.select(
  split(
    trim(regexp_replace($"text2", "(\\B\uD83D.{1})", "$1 ")),
    " "
  ).as("split2")
).show

//+-----------------+
//|          split2 |
//+-----------------+
//|[😂, 😂, 😂, 😂]|
//|[😱, 😂, 😂, 😱]|
//+-----------------+

Answer 2

我试图用火花regexp_replace全部更换表情符号，它的Unicode开始与\?和只替换与Unicode的一部分\? ，但我没有运气。

这是一个例子：

我想获取所有“😂”实例（在Scala中为\?\? ），然后将其替换为“😂”。 只需一个表情符号即可轻松完成，并使用以下代码：

.select(functions.regexp_replace($"text2", "[(\uD83D\uDE02)]", " \uD83D\uDE02").as("split2"))

使用上面的代码，如果我在text2列中有一个像这样的字符串“😂😂😂😂”，它将把它变成“ I”，然后我可以很容易地按空格分割它。

我想将此应用到所有以\?开头的表情符号，因此我认为这样做应该可以，但是不能：

.select(functions.regexp_replace($"text2", "[(\uD83D)]", " \uD83D").as("split2"))

这不会以任何方式影响数据。 即使以下内容也不会以任何方式影响数据，无论是否带有括号和/或括号：

.select(functions.regexp_replace($"text2", "[(u)]", " \uD83D").as("split2"))

如果我只能替换那些unicode字符串的前6个字符，则text2列中的以下内容：“😱😂😂😱”将导致“😱😂😱”，这正是我所需要的。

谢谢你的帮助！