处理以ANTLR4中的转义引号结尾的字符串文字

Question

如何编写词法分析器规则以匹配不以转义引用结尾的字符串文字？

这是我的语法：

lexer grammar StringLexer;

// from The Definitive ANTLR 4 Reference
STRING: '"' (ESC|.)*? '"';
fragment ESC : '\\"' | '\\\\' ;

这是我的java块：

String s = "\"\\\""; // looks like "\"
StringLexer lexer = new StringLexer(new ANTLRInputStream(s)); 

Token t = lexer.nextToken();

if (t.getType() == StringLexer.STRING) {
    System.out.println("Saw a String");
}
else {
    System.out.println("Nope");
}

这输出Saw a String 。 "\\"真的应该与STRING匹配吗？

编辑： 280Z28和Bart的解决方案都是很好的解决方案，不幸的是我只接受一个。

Answer 1

对于正确形成的输入，词法分析器将匹配您期望的文本。 但是，使用非贪婪的运算符不会阻止它与以下形式匹配：

'"' .*? '"'

为了尽可能以最“理智”的方式确保字符串是令牌，我建议使用以下规则。

StringLiteral
  : UnterminatedStringLiteral '"'
  ;

UnterminatedStringLiteral
  : '"' (~["\\\r\n] | '\\' (. | EOF))*
  ;

如果您的语言允许字符串文字跨越多行，则可能需要修改UnterminatedStringLiteral以允许匹配行尾字符。

如果您不包含UnterminatedStringLiteral规则，则词法分析器将通过简单地忽略字符串的开头"字符并继续标记字符串的内容来处理未终止的字符串。

Answer 2

是的， "\\"与STRING规则匹配：

            STRING: '"' (ESC|.)*? '"';
                     ^       ^     ^
                     |       |     |
// matches:          "       \     "

如果你不想要的话. 要匹配反斜杠（和引号），请执行以下操作：

STRING: '"' ( ESC | ~[\\"] )* '"';

如果您的字符串无法分布在多行上，请执行以下操作：

STRING: '"' ( ESC | ~[\\"\r\n] )* '"';