处理文本文件时对文本进行“标记化”部分

Question

我正在一个业余项目中，将现有的标记库移植到C＃/ .NET类库中。 如果您熟悉Markdown，这是一个类似的概念。

我有一个早期的问题，就是有一种语法可以标记一段文本，以阻止它被其他任何语法规则所处理，对此，我想提出一些建议。

我想到的一种方法是，首先搜索这些部分，用某种有意义的标记将其删除并替换，运行其余处理规则，然后作为最后一步，用标记所代表的文本替换标记。

那对别人最有意义吗？ 此外，您将如何生成令牌，这样就不会遇到意外创建与现有文本匹配的令牌的可能性？

任何帮助/建议表示赞赏！

pt

Answer 1

为什么不使用适当的解析器生成器来创建令牌生成器？

您可能会在几个小时内用ANTLR撞倒东西。