Scala 子字符串并将其存储在 DF 中

Question

我正在尝试在 Scala 中拆分一个字符串并将其存储在 DF 中以与 Apache Spark 一起使用。 我拥有的字符串如下：

fromTo: NT=xxx_bt_bsns_m,OD=ntis,OS=wnd,SX=xs,SZ=ddp,
fromTo: NT=xds_bt2_bswns_m,OD=nis,OS=wnd,SX=xs,SZ=ddp,
fromTo: NT=xxa_bt1_b1ns_m,OD=nts,OS=nd,SX=xs,SZ=ddp

我只想获得以下子字符串：

xxx_bt_bsns_m
xds_bt2_bswns_m
xxa_bt1_b1ns_m

然后将其存储在 DF 中以显示如下内容：

+--------------------+
|       Name         |
+--------------------+
|   xxx_bt_bsns_m    |
|  xds_bt2_bswns_m   |
|   xxa_bt1_b1ns_m   |
+--------------------+

那么我必须尝试获取所有以 NT 开头并以“,”结尾的字符串，也许使用带有正则表达式的模式，然后将其存储在 DF 中？

我从 Scala 开始，因此我对此表示怀疑。

提前致谢！

Answer 1

您可以使用 UDF 执行此操作：

val rgx = "^fromTo: NT=([a-zA-Z0-9_]+),(.*)".r

val udfToExtract = udf { str : String => str match { case (rgx(gr1, _)) => gr1} }

它给：

+-----------------------------------------------------+-------------+
|text                                                 |textNew      |
+-----------------------------------------------------+-------------+
|fromTo: NT=xxx_bt_bsns_m,OD=ntis,OS=wnd,SX=xs,SZ=ddp,|xxx_bt_bsns_m|
+-----------------------------------------------------+-------------+

或者使用 regex_extract：

df.select(regexp_extract($"text", "^fromTo: NT=([a-zA-Z0-9_]+),(.*)", 1).as("textNew")).show()

它还给出：

+-------------+
|      textNew|
+-------------+
|xxx_bt_bsns_m|
+-------------+