将字符串拆分为多个双字字符串

Question

我有一个很长的字符串（~1000 个单词），我想将它分成两个单词的短语。

我有这个：

string <- "A B C D E F"

我想要这样：

"A B"
"B C"
"C D"
"D E"
"E F"

长字符串已被清理和词干化，停用词已被删除。

我尝试使用 str_split，但是（我认为）这需要一个分隔符，这在这里很复杂，因为我不想将 A 与 B 分开，只有“AB”与“CD”以及“BC”与“DE”等.

Answer 1

按空格拆分，然后用 shift粘贴：

s <- unlist(strsplit(string, " ", fixed = TRUE))
sl <- length(s)
paste(s[1:(sl-1)], s[2:sl])
# [1] "A B" "B C" "C D" "D E" "E F"

Answer 2

tmp <- strsplit(string, " ")[[1]] tmp # [1] "A" "B" "C" "D" "E" "F" sapply(seq_along(tmp)[-1], function(z) paste(tmp[z-1:0], collapse = " ")) # [1] "A B" "B C" "C D" "D E" "E F"

Answer 3

如果您已经使用了一些文本挖掘 package（如已清理、词干化和删除的停用词所建议的那样），则很可能会生成 n 元语法（而不仅仅是二元语法）。 例如quanteda::tokens_ngrams()或tidytext::unnest_ngrams() ：

string <- "A B C D E F"

quanteda::tokens_ngrams(quanteda::tokens(string), concatenator = " ")
#> Tokens consisting of 1 document.
#> text1 :
#> [1] "A B" "B C" "C D" "D E" "E F"

data.frame(s = string) |>
  tidytext::unnest_ngrams(input = "s", output = "bigrams", n = 2)
#>   bigrams
#> 1     a b
#> 2     b c
#> 3     c d
#> 4     d e
#> 5     e f

^{创建于 2023-01-31，使用reprex v2.0.2}

Answer 4

一种选择是使用具有前瞻性的正则表达式。

string <- "A B C D E F"

. <- gregexpr("\\S+\\s+(?=(\\S+))", string, perl=TRUE)[[1]]
attr(.,"match.length") <- attr(.,"match.length") + attr(., "capture.length")
regmatches(string, list(.))[[1]]
#[1] "A B" "B C" "C D" "D E" "E F"