从ANTLR语法剥离动作会更改其解析算法

Question

我有一个语法Foo.xtext （太复杂，无法在此处包含它）。 Xtext从中生成InternalFoo.g 。 进行一些调整后，它还会生成DebugInternalFoo.g ，它声称是相同的东西，没有任何动作。 现在，我直接用ANTLR剥离动作

java -cp antlr-3.4.jar org.antlr.tool.Strip Internal.g > Stripped.g

我希望三个语法在检查它们时表现相同。 但是这就是我的经历

• InternalFoo.g错误，规则分配具有非LL（*）决策
• DebugInternalFoo.g没问题，解析很好
• Stripped.g分配规则时的警告，可以使用多种选择来匹配决策。 无法正确解析。

语法是否有可能以不同的方式解析文本？ 还是这是任何动作清除工具中的错误？ （所讨论的规则具有语法谓词，没有它们，它实际上将具有非LL（*）决定。）

更新：

我部分找到了导致问题的原因。 有问题的规则是这样的

trickyRule:
  ({ some complex action})
  (expression '=')=>...

使用Antlr剥离会删除该操作，但在此处留下一个空组：

// Stripped.g
trickyRule:
  () (expression '=')=>...

调试语法的生成既删除了动作，也删除了周围的空组：

// DebugInternalFoo.g
trickyRule:
  (expression '=')=>...

因此，我们吸取的教训是：在句法谓词之前的空组根本不等于什么。

Answer 1

语法是否有可能以不同的方式解析文本？

是的，那是可能的。 org.antlr.tool.Strip留下语法谓词¹ ，但除去验证²和门^3的语义谓词（以及这些语义谓词可能使用的member部分）。

例如，以下规则仅匹配A_TOKEN ：

parser_rule1
  :  (parser_rule2)=> parser_rule2
  ;

parser_rule2
  :  {input.LT(1).getType() == A_TOKEN}? .
  ;

但是，如果在其上使用“ Strip工具，则会留下以下内容：

parser_rule1
  :  (parser_rule2)=> parser_rule2
  ;

parser_rule2
  :  /*{input.LT(1).getType() == A_TOKEN}?*/ .
  ;

使它与任何令牌匹配。

换句话说， Strip可以更改生成的词法分析器或解析器的行为。

---

^1个语法谓词： ( ... )=>
²验证语义谓词{ ... }?
³门控语义谓词{ ... }?=>