在ANTLR中解析DECAF語法

Question

我正在使用Antlr語法DECAF創建DECAF的解析器；

//********* LEXER ******************
LETTER: ('a'..'z'|'A'..'Z') ;
DIGIT : '0'..'9' ;
ID : LETTER( LETTER | DIGIT)* ;
NUM: DIGIT(DIGIT)* ;
COMMENTS: '//' ~('\r' | '\n' )*  -> channel(HIDDEN);
WS : [ \t\r\n\f | ' '| '\r' | '\n' | '\t']+  ->channel(HIDDEN); 

CHAR: (LETTER|DIGIT|' '| '!' | '"' | '#' | '$' | '%' | '&' | '\'' | '(' | ')' | '*' | '+' 

| ',' | '-' | '.' | '/' | ':' | ';' | '<' | '=' | '>' | '?' | '@' | '[' | '\\' | ']' | '^' | '_' | '`'| '{' | '|' | '}' | '~' 
'\t'| '\n' | '\"' | '\'');


// ********** PARSER *****************

program : 'class' 'Program' '{' (declaration)* '}'  ;

declaration: structDeclaration| varDeclaration | methodDeclaration  ;

varDeclaration: varType ID ';' | varType ID '[' NUM ']' ';'  ;

structDeclaration : 'struct' ID '{' (varDeclaration)* '}'  ;

varType: 'int' | 'char' | 'boolean' | 'struct' ID | structDeclaration | 'void'  ;

methodDeclaration : methodType ID '(' (parameter (',' parameter)*)* ')' block  ;

methodType : 'int' | 'char' | 'boolean' | 'void' ;

parameter : parameterType ID | parameterType ID '[' ']' ;

parameterType: 'int' | 'char' | 'boolean'  ;

block : '{' (varDeclaration)* (statement)* '}' ;

statement : 'if' '(' expression ')' block ( 'else' block )? 
           | 'while' '(' expression ')' block
           |'return' expressionA ';' 
           | methodCall ';' 
           | block  
           | location '=' expression 
           | (expression)? ';'  ;

expressionA: expression | ;


location : (ID|ID '[' expression ']') ('.' location)?  ;

expression : location | methodCall | literal | expression op expression | '-' expression | '!' expression | '('expression')'  ;

methodCall :    ID '(' arg1 ')' ;

arg1    :   arg2 | ;

arg2    :   (arg) (',' arg)* ;

arg :   expression;

op: arith_op | rel_op | eq_op | cond_op  ;

arith_op : '+' | '-' | '*' | '/' | '%' ;

rel_op : '<' | '>' | '<=' | '>=' ;

eq_op : '==' | '!=' ;

cond_op : '&&' | '||' ;

literal : int_literal | char_literal | bool_literal ;

int_literal : NUM ;

char_literal : '\'' CHAR '\'' ;

bool_literal : 'true' | 'false' ;

當我輸入時：

    class Program {

    void main(){

        return 3+5 ;
    }
    }

解析樹無法正確構建，因為它無法將3 + 5識別為表達式。 我的語法是否有引起問題的錯誤？

Answer 1

Lexer規則從上到下匹配。 當2個或更多lexer規則匹配相同數量的字符時，首先定義的一個將獲勝 。 因此，一位整數將作為DIGIT而不是NUM匹配。

嘗試解析以下內容：

class Program {
    void main(){    
        return 33 + 55 ;
    }
}

將被解析就好了。 這是因為33和55 被匹配為NUM ，因為NUM現在可以匹配2個字符（ DIGIT僅1個字符，所以NUM wins ）。

要修復此問題，請使DIGIT成為片段（以及LETTER ）：

fragment LETTER: ('a'..'z'|'A'..'Z') ;
fragment DIGIT : '0'..'9' ;
ID : LETTER( LETTER | DIGIT)* ;
NUM: DIGIT(DIGIT)* ;

Lexer片段僅由其他lexer規則在內部使用，並且永遠不會成為其自身的標記。

還有兩件事：您的WS規則匹配得太多（現在也匹配了|和' ），應該是：

WS : [ \t\r\n\f]+  ->channel(HIDDEN);

而且您不應該在解析器中匹配char文字：在lexer中進行匹配：

CHAR : '\'' ( ~['\r\n\\] | '\\' ['\\] ) '\'';

否則，將無法正確解析以下內容：

class Program {
    void main(){
        return '1';
    }
}

因為1將被標記為NUM而不是CHAR 。