如何在 JavaCC 中对令牌实施负面的 LOOKAHEAD 检查？

Question

我目前正在使用 JavaCC 实现一个 JavaScript/ ECMAScript 5.1解析器。 我最近了解到LOOKAHEAD在这里很方便，因为语法不完全是 LL(1)。

我在 ECMAScript 语法中看到的一件事是“负前瞻检查”，就像在下面的ExpressionStatement产品中一样：

ExpressionStatement :
    [lookahead ∉ {{, function}] Expression ;

所以我可能需要类似LOOKAHEAD(!("{" | "function"))但它在这种语法中不起作用。

我的问题是，我怎么能在 JavaCC 中实现这个“负面的LOOKAHEAD ”呢？

阅读LOOKAHEAD MiniTutorial 后，我认为像getToken(1).kind != FUNCTION这样的表达式可能是我需要的，但我不太确定。

Answer 1

对于您提供的示例，我更喜欢使用句法前瞻，这在某种意义上必然是“积极的”。

ExpressionStatement 的生成不是解决问题的地方，因为别无选择。

void ExpressionStatement() : {} { Expression() ";" }

如果在表达式语句和块之间或在表达式语句和函数声明（或两者）之间进行选择，就会出现问题。

例如在 Statement 你会发现

void Statement() :{} {
    ...
|
    Block()
|
    ExpressionStatement() 
|   ...
}

给出警告，因为这两个选项都可以以“{”开头。 你有两个选择。 一种是忽略警告。 只要 Block 是第一位的，就会采取第一个选择，一切都会好起来的。 第二种选择是使用先行规范来抑制警告。 像这样：

void Statement() :{} {
    ...
|
    LOOKAHEAD("{") Block()
|
    ExpressionStatement() 
|   ...
}

从某种意义上说，语法展望是积极的——“如果 X 则采用这种替代方案”。

如果你真的想要一个否定——即，“如果不是 X，就采用这个替代方案”——向前看，它必须是语义的。

在 Statement 的情况下，您可以编写

void Statement() :{} {
    ...
|
    LOOKAHEAD({!(getToken(1)==LBRACE)}) ExpressionStatement() 
|   
    Block()
}

我确保这些是最后两个替代方案，否则您需要在阻止 ExpressionStatement() 的标记集中包含更多标记，例如，如果下一个标记是“if”或“while”，则不应选择它" 或 "for" 等。

总的来说，最好尽可能使用句法先行。 它通常更直接，更难搞砸。

Answer 2

我在寻找其他问题时遇到了这个问题，是的，我知道这个问题是在近 6 年前提出的。

JavaCC 的最高级版本是JavaCC21。 并且 JavaCC21 确实允许负句法前瞻。

例如，在 JavaCC21 中，您将编写LOOKAHEAD(~<LBRACE>)以指定仅在下一个标记不是LBRACE 时才输入LOOKAHEAD(~<LBRACE>)的扩展。 ~字符否定前瞻扩展，如果需要，您可以使用它来否定比单个标记更复杂的扩展。 例如：

前瞻 (~(<LBRACE>|<LPAREN>))

实际上，JavaCC21 中还有很多其他功能在遗留 JavaCC 项目中不存在。 这是一个大问题：嵌套句法前瞻无法正常工作的长期错误已得到修复。 看到这里。