忽略ANTLR4中的“噪音”

Question

我想在ANTLR4中建立自然语言的日期解析器，并被忽略了“噪音”输入。 下面的简化语法分析包含有效日期格式为DATE MONTH的任何字符串：

dates
    : simple_date dates
    | EOF
    ;

simple_date
    : DATE MONTH
    ;

DATE  : [0-9][0-9]?;
MONTH : January | February | March // etc.;

诸如“ 1 January 22 February”之类的文本将被接受。 我希望语法也接受其他文本，因此我添加了ANY : . -> skip; ANY : . -> skip; 在末尾：

dates
    : simple_date dates
    | EOF
    ;

simple_date
    : DATE MONTH
    ;

DATE  : [0-9][0-9]?;
MONTH : January | February | March // etc.;
ANY   : . -> skip;

但是，这并不能完全满足我的要求。 虽然接受了诸如“ 1月1日和2月22日”之simple_date字符串，并且simple_date规则被匹配两次，但是字符串“ On 1XX 1XX”也将与该规则匹配。

问题：如何构建仅将规则与确切的标记序列匹配的语法，而忽略所有其他输入，包括未按任何规则定义的顺序标记的语法？ 考虑以下情况：

"From 1 January to 2 February" -> simple_date matches "1 January" and "2 February"
"From 1XX January to 2 February" -> simple_date matches "2 February", rest is ignored
"From January to February" -> no match, everything ignored

Answer 1

不要在词法分析器中放置多余的“噪音”，例如ANY规则。 Lexer不知道当前令牌在什么上下文下。 而您想要的是“当它不是DATE MONTH形式时，丢弃一些噪声标记”。 将您的ANY规则移到与噪声匹配的解析器规则。

另外，建议在LEXER中放置空格。 但是在这种情况下，您的ANY规则应排除与WS规则匹配的规则。 还需要注意您的DATE规则截获了[0-9] [0-9]形式的噪声标记吗？

dates
    : (noise* (simple_date) noise*)+

    ;

simple_date
    : DATE MONTH
    ;
noise: (DATE|ANY);

DATE  : [0-9][0-9]?;
MONTH : 'January' | 'February' | 'March' ;
ANY   : ~(' '|'\t' | '\f')+ ;
WS    : [ \t\f]+ -> skip;

接受：

1 January and 22 February  noise 33
1 January and 22 February 3

拒绝：

1xx January

这还没有完全测试。 另外，您的MONTH词法分析器规则还拦截了一个独立的月份文字（例如一月），该月份文字被认为是噪音，但在我的语法中未得到处理，例如

22 February January