在ANTLR中解析DECAF语法

Question

我正在使用Antlr语法DECAF创建DECAF的解析器；

//********* LEXER ******************
LETTER: ('a'..'z'|'A'..'Z') ;
DIGIT : '0'..'9' ;
ID : LETTER( LETTER | DIGIT)* ;
NUM: DIGIT(DIGIT)* ;
COMMENTS: '//' ~('\r' | '\n' )*  -> channel(HIDDEN);
WS : [ \t\r\n\f | ' '| '\r' | '\n' | '\t']+  ->channel(HIDDEN); 

CHAR: (LETTER|DIGIT|' '| '!' | '"' | '#' | '$' | '%' | '&' | '\'' | '(' | ')' | '*' | '+' 

| ',' | '-' | '.' | '/' | ':' | ';' | '<' | '=' | '>' | '?' | '@' | '[' | '\\' | ']' | '^' | '_' | '`'| '{' | '|' | '}' | '~' 
'\t'| '\n' | '\"' | '\'');


// ********** PARSER *****************

program : 'class' 'Program' '{' (declaration)* '}'  ;

declaration: structDeclaration| varDeclaration | methodDeclaration  ;

varDeclaration: varType ID ';' | varType ID '[' NUM ']' ';'  ;

structDeclaration : 'struct' ID '{' (varDeclaration)* '}'  ;

varType: 'int' | 'char' | 'boolean' | 'struct' ID | structDeclaration | 'void'  ;

methodDeclaration : methodType ID '(' (parameter (',' parameter)*)* ')' block  ;

methodType : 'int' | 'char' | 'boolean' | 'void' ;

parameter : parameterType ID | parameterType ID '[' ']' ;

parameterType: 'int' | 'char' | 'boolean'  ;

block : '{' (varDeclaration)* (statement)* '}' ;

statement : 'if' '(' expression ')' block ( 'else' block )? 
           | 'while' '(' expression ')' block
           |'return' expressionA ';' 
           | methodCall ';' 
           | block  
           | location '=' expression 
           | (expression)? ';'  ;

expressionA: expression | ;


location : (ID|ID '[' expression ']') ('.' location)?  ;

expression : location | methodCall | literal | expression op expression | '-' expression | '!' expression | '('expression')'  ;

methodCall :    ID '(' arg1 ')' ;

arg1    :   arg2 | ;

arg2    :   (arg) (',' arg)* ;

arg :   expression;

op: arith_op | rel_op | eq_op | cond_op  ;

arith_op : '+' | '-' | '*' | '/' | '%' ;

rel_op : '<' | '>' | '<=' | '>=' ;

eq_op : '==' | '!=' ;

cond_op : '&&' | '||' ;

literal : int_literal | char_literal | bool_literal ;

int_literal : NUM ;

char_literal : '\'' CHAR '\'' ;

bool_literal : 'true' | 'false' ;

当我输入时：

    class Program {

    void main(){

        return 3+5 ;
    }
    }

解析树无法正确构建，因为它无法将3 + 5识别为表达式。 我的语法是否有引起问题的错误？

Answer 1

Lexer规则从上到下匹配。 当2个或更多lexer规则匹配相同数量的字符时，首先定义的一个将获胜 。 因此，一位整数将作为DIGIT而不是NUM匹配。

尝试解析以下内容：

class Program {
    void main(){    
        return 33 + 55 ;
    }
}

将被解析就好了。 这是因为33和55 被匹配为NUM ，因为NUM现在可以匹配2个字符（ DIGIT仅1个字符，所以NUM wins ）。

要修复此问题，请使DIGIT成为片段（以及LETTER ）：

fragment LETTER: ('a'..'z'|'A'..'Z') ;
fragment DIGIT : '0'..'9' ;
ID : LETTER( LETTER | DIGIT)* ;
NUM: DIGIT(DIGIT)* ;

Lexer片段仅由其他lexer规则在内部使用，并且永远不会成为其自身的标记。

还有两件事：您的WS规则匹配得太多（现在也匹配了|和' ），应该是：

WS : [ \t\r\n\f]+  ->channel(HIDDEN);

而且您不应该在解析器中匹配char文字：在lexer中进行匹配：

CHAR : '\'' ( ~['\r\n\\] | '\\' ['\\] ) '\'';

否则，将无法正确解析以下内容：

class Program {
    void main(){
        return '1';
    }
}

因为1将被标记为NUM而不是CHAR 。