吉森解析器在第一个规则后停止

Question

我有一个简单的文件格式，我想用jison解析器生成器来解析。 该文件可以包含任意顺序和数量的多个表达式。 这是解析器的jison文件：

/* lexical grammar */
%lex

%%

\s+                   /* skip whitespace */
\"(\\.|[^"])*\"          return 'STRING'

File\s*Version\s*\:      return 'FILEVERSION'
[0-9]+("."[0-9]+)?\b     return 'NUMBER'
<<EOF>>                  return 'EOF'
.                        return 'INVALID'

/lex

%start expressions

%% /* language grammar */

expressions
    : EOF
    | e expressions EOF
    ;

e
    : STRING
    | FILEID 
    ;

FILEID
    : FILEVERSION NUMBER { return $1 + $2; }
    ;

为简单起见，我将文件缩短为仅包含字符串和文件ID表达式。

我的问题是，如果第二个表达式仅包含一个像字符串这样的标记，则生成的解析器似乎只能识别一个或两个完整表达式。 例如：

档案版本：1.0

将被解析，或者

文件版本：1.0“我的字符串”

也将被解析，但是对于

文件版本：1.0“我的字符串”“未解析的字符串”

最后一个字符串将不会被解析。

我已经在jison调试器和jison页面上尝试过此代码，但是两个页面都显示相同的结果。

我对这个问题的建议是：

1. 一些词法分析器错误（正则表达式）
2. 一些语法错误（左右递归）
3. 解析器中缺少某些操作（种类为{$$ = $ 1;}）
4. 我缺少的其他野牛/吉森魔术

我不是ebnf-parser-guru，所以请保持答案尽可能简单。

Answer 1

直接的问题是您从FILEID生产return 。 return返回，因此解析以返回的值终止。 通常，语义规则应通过分配给变量$$提供结果。 （对于“单位规则”来说，在右侧只有一个符号是没有必要的；在执行操作之前，解析器将执行$$ = $1 ，因此，如果您要这样做，则可以将操作省去就像您在两个FILEID规则中FILEID 。）

此外， expressions产生对$2无效，因此即使您解决了第一个问题，您在结果中仍然只会看到一个e 。

expressions产生也是不正确的，因为除了基本情况下的EOF之外，每个e还需要一个EOF令牌。 考虑生产如何工作：

expressions -> e expressions EOF
            -> e e expressions EOF EOF
            -> e e e expressions EOF EOF EOF
            -> e e e EOF EOF EOF EOF

就个人而言，我建议使用左递归而不是右递归。 像jison这样的自下而上的解析器更喜欢左递归，在这种情况下，它通常会导致更自然的语义规则。

最后，当您实际到达输入末尾时，需要返回最终值。 在jison中，这通常需要一个明确的开始规则，其语义作用是return 。

因此，考虑到所有这些，让我们尝试一下：（我更改了一些非终端的名称，并FILEID因为常规FILEID小写用于非终端，将大写用于终端）

%start prog
%%
prog   : exprs EOF          { return $1; }
       ;
exprs  :                    { $$ = []; }
       | exprs expr         { $$.push($2); }
       ;
expr   : file_id
       | STRING
       ;
file_id: FILEVERSION NUMBER { $$ = $1 + $2; }
       ;

---

关于匹配字符串的正则表达式的一个注意事项：

\"(\\.|[^"])*\"          return 'STRING'

尽管它显然可以在javascript中工作（大多数情况；请参见下文），但它会在flex（或与Posix兼容的正则表达式库）中显示一个错误。 它主要在javascript中起作用，因为javascript正则表达式交替运算符| 被命令 ; 如果第一个选择匹配，则除非该模式的其余部分不匹配（否则将触发该错误），否则将永远不会尝试第二个选择。

但是在（f）lex中，交替运算符会注意到所有匹配的替代项，并最终选择可能的最长匹配项。 结果是，当匹配"\\\\"..." ，flex将通过使用[^"]匹配第一个\\然后匹配\\\\.来匹配令牌，直到第三个引号\\\\. 匹配\\ “ 。这使它可以继续查找结束语。

编写正则表达式很容易，以便它可以使用任何一种语义，并且我强烈建议这样做，以防您想迁移到其他解析器生成器，只需确保\\不与[^"]匹配即可：

\"(\\.|[^\\"])*\"        return 'STRING'

此更改还将修复细微的错误，即使在javascript中也是如此，如果"\\"是输入中的最后一个字符串，则将其视为有效的字符串标记。 在这种情况下，javascript将首先使用\\\\. 匹配\\ “ ，但是一旦找到，它将找不到任何结束引号。它将回溯并尝试与[^"]匹配，后者将匹配\\ ，从而允许将引号识别为结束引号。