使用perl中的regex从字符串中提取子字符串？

Question

尝试提取匹配string中pattern的子串。 例如，我有类似下面的文本

[ Pierre/NNP Vinken/NNP ]
,/, 
[ 61/CD years/NNS ]
old/JJ ,/, will/MD join/VB 
[ the/DT board/NN ]
as/IN 
[ a/DT nonexecutive/JJ director/NN Nov./NNP 29/CD ]
./. 
[ Mr./NNP Vinken/NNP ]
is/VBZ 
[ chairman/NN ]
of/IN 

我想在斜杠（/）和斜杠之后提取任何东西，但不知何故，我的正则表达式提取第一个子字符串并忽略该行中的其余子字符串。

我的输出如下所示：

tag:Pierre/NNP Vinken - word:Pierre/NNP Vinken/NNP ->1
tag:, - word:,/, ->1
tag:61/CD years - word:61/CD years/NNS ->1
tag:old/JJ ,/, will/MD join - word:old/JJ ,/, will/MD join/VB ->1
tag:the/DT board - word:the/DT board/NN ->1
tag:as - word:as/IN ->1
tag:a/DT nonexecutive/JJ director/NN Nov./NNP 29 - word:a/DT nonexecutive/JJ director/NN Nov./NNP 29/CD ->1
tag:. - word:./. ->1
tag:Mr./NNP Vinken - word:Mr./NNP Vinken/NNP ->1
tag:is - word:is/VBZ ->1
tag:chairman - word:chairman/NN ->1
tag:of - word:of/IN ->1

但我真正想要的是下面这样的东西

tag:NNP  - word:Pierre ->1
tag:NNP  - word:Vinken ->1
tag:,    - word:,      ->1
tag:CD   - word:61     ->1
.
.
etc.

我使用的代码：

    while (my $line = <$fh>) {
        chomp $line;
        #remove square brackets
        $line=~s/[\[\]]//;

        while($line =~m/((\s*(.*))\/((.*)\s+))/gi)
        {
            $word=$1;
            $tag=$2;
            #remove whitespace from left and right of string
            $word=~ s/^\s+|\s+$//g;
            $tag=~ s/^\s+|\s+$//g;
            $tags{$tag}++;
            $tagHash{$tag}{$word}++;
        }

    }
foreach my $str (sort keys %tagHash)
{
    foreach my $s (keys %{$tagHash{$str}} )
    {
        print "tags:$str - word: $s-> $tagHash{$str}{$s}\n";
    }
}

任何想法为什么我的正则表达式不应该表现出来

编辑：

在我正在解析的文本文件中也有野性字符和标点符号，这意味着文件将具有如下内容：''/''“/”，/，。/。 ？/？ ！/！ 。 。 。 等等

所以我想要捕获所有这些东西，不仅仅是字母和数字字符。

Answer 1

我认为你有tag/word s tag和word可能是一切，除了一些字符，如],[,\\s, ，：

\s*([^\[\]\s]+?)\/([^\[\]\s]+)\s*
    ^^^^^^^^^1

此正则表达式与您的原始模式类似。 （见DEMO ）

描述：

1-此捕获组匹配每个角色. 那不是[ ， ]或\\s

Answer 2

围绕整个模式的最外面一组括号被捕获到$1 ，这显然不是预期的。 此外， .*\\/的贪婪意味着它需要一切到最后 / 。 同样， .*\\s+只留下最后一个空格。

一种方法是使用否定的字符类

my ($word, $tag) = m{ ([^/\s]+) / ([^/\s]+) }x;

模式[^/\\s]+匹配一个或多个连续字符的字符串，每个字符不是/或空格。 所以你在/之前和之后得到一个“ 单词 ”。 如果你采取“ 斜线后的任何东西 ”，正如文字所说，不清楚在下一次斜线之前应该是什么。

然后你的方法就可以了

while (my $line = <$fh>) 
{
    while ( $line =~ m{ ([^/\s]+) / ([^/\s]+) }gx )
    {
        $tagHash{$2}{$1}++;
    }
}

另一个计数似乎无关紧要，所以我把它留下来专注于这个问题。

---

但是，这里有一点点缺失。

此方法无法检测线条何时与预期格式不同。 例如

word1/tag1 word2/tag2/ tag3/word4/tag4

安静地产生错误的结果。 一些违规行为被忽略，但有许多不良案例。

捕获这一点的一种方法是预处理该行，检查所有斜杠之间至少有两个单词，并且在第一个和最后一个之后至少有一个单词。 这意味着每行处理两次，而且它也变得更加混乱。 例如

while (my $line = <$fh>) 
{
    my @parts = split '/', $line;
    if (not shift @parts or not pop @parts or grep { 2 > split } @parts) {
        warn "Unexpected format: $line";
        next;
    }

    $tagHash{$2}{$1}++  while $line =~ m{ ([^/\s]+) / ([^/\s]+) }gx;
}

此检查会更改@parts数组，因此如果以后需要该数组，则可以更好地使用

if (!$parts[0] or !$parts[-1] or grep { 2 > split } @parts[1..@parts-2])  { ...

而不是grep也可以使用List :: Util中的 any短路

另一种方法是改变方法，仔细解析线，而不是盲目地跳过正则表达式匹配。 由于第一个和最后一个可能只有一个单词，这可能很难用正则表达式。 分割和使用数组可能更清晰，更实用。

很难想象格式总是匹配数据，所以我建议考虑一些。