如何使ANTLR4语法支持转义字符？

Question

我具有以下ANTLR4语法来解释正则表达式。

// Regular Expression Grammar.
grammar RegExpr;

program  : expr EOF # Root
        ;
expr     : TERM # TermNode
        | expr '?' # OptionalNode
        | '(' expr ')' # OrdinaryNode
        | expr expr # ConcatNode
        | expr '|' expr # OrNode
        ;
ESC      : '\\' . ;
TERM     : ([a-zA-Z0-9,.*^+\-&'":><#![\]] | ESC)+ ;
WS       : [ \t\r\n]+ -> skip ; // skip spaces, tabs, newlines

但是，当我尝试在Java中解析字符串文字'\\\\（'时，我得到了

第1：0行在输入'\\（'

我想将任何带有'\\\\'前缀的字符视为终端。 例如，将'\\\\（'，'\\\\）'，'\\\\\\\\'，'\\\\ X'视为终端。

最后，我想将'\\（a。（b | c）\\）'解析为

'\\（a。'（b | c）'\\）'

代表'\\（ab \\）'和'\\（ac \\）'。 然后，我可以删除所有的'\\'以获得'（ab）'和'（ac）'。

谁能指出以上语法为何在'\\\\（'和'\\（a。（b | c）\\）'上给出错误？

谢谢！

Answer 1

好。 我可以以某种方式修复语法

fragment ESC      : '\\' . ;

不知道这里到底发生了什么。

Answer 2

由于ESC不是您原始语法中的片段，并且在语法文件中位于TERM之上，因此只要词法分析器可以匹配\\. ，它就比TERM优先\\. 不再。

Answer 3

最初的问题已经有一个答案（使用fragment ），但是我认为仍然缺乏理解。 所以这是一个解释：

在ANTLR中，lexer规则按照语法中指定的顺序进行处理。 因此，ANTLR将以第一个规则开始，并尝试是否可以匹配当前输入的字符序列。 如果可以，将创建一个令牌，然后重新开始该过程。 如果不能，则查询下一个词法分析器规则。

在您的示例中，在TERM之前指定了ESC 。 因此，ANTLR将尝试将输入匹配为ESC然后再尝试将其匹配为TERM 。 因此输入\\. 将始终作为单个ESC令牌进行匹配，并且只有以下字符（不再匹配ESC ）将与TERM匹配。

通过将ESC定义为片段，您可以告诉ANTLR ESC本身不是词法分析器规则。 因此，不会要求它与字符inputStream匹配。 片段只是可重用的部分，可用于组装实际的词法分析器规则，因此语法中第一个声明（并查询）的词法分析器规则将变为TERM 。
实际上，使用片段的唯一好处是，如果您有多个词法分析器规则，这些规则在某些时候都包含相同的序列（例如'\\\\' . ）。 为了不必每次都写该序列，您可以将该序列预先定义为片段。 因此，基本上，您可以将片段视为一种变量，其中包含可以插入词法分析器规则中的实际序列。

长话短说：之所以解决了这个问题，是因为片段不会像普通的词法分析器规则那样创建令牌。