繁体 English 中英

在实现词法分析器时我应该如何分隔标记？ [关闭]

[英]How should I delimit tokens while implementing a lexer? [closed]

原文 2021-07-03 22:44:11 9 0 compiler-construction/ lexer

我正在尝试实现一个词法分析器。 我应该如何分离令牌？ 例如，如果我有输入let age = 12; 我应该如何将它分成令牌let age = 12 ; 如果我有一个名为 nextToken() 的函数？ 我应该从标准输入读取直到到达空白字符吗？ 另外，（f）lex 将如何做到这一点？

0 个解决方案

在创建DFA后实现标识令牌的词法分析器

[英]Implementing a lexer identifying tokens after creating DFA

如何在词法分析时存储令牌

[英]How to store tokens while lexical analysis

如何编辑此 html 词法分析器规则？

[英]How to edit this html lexer rule?

令牌是否应该是 AST 节点的一部分

[英]Should tokens be part of AST Nodes

我在哪里可以学习编写词法分析器的基础知识？

[英]Where can I learn the basics of writing a lexer?

我们应该区别词法分析器中NUMBER的整数，浮点数和双精度吗？

[英]Should we distinugish integers, floats and doubles from NUMBER in lexer?

如何在编译器野牛/词法分析器中打印字符串？

[英]How print string in compiler bison/lexer?

词法生成器如何识别语法的关键字？

[英]How does a lexer generator identify the keywords of a grammar?

Clang 的词法分析器和解析器是如何生成的？

[英]How are Clang's lexer and parser generated?

如何使用 ANTLR 修改 CommonTokenStream 中的令牌文本？

[英]How can I modify the text of tokens in a CommonTokenStream with ANTLR?

暂无

暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 在创建DFA后实现标识令牌的词法分析器如何在词法分析时存储令牌如何编辑此 html 词法分析器规则？令牌是否应该是 AST 节点的一部分我在哪里可以学习编写词法分析器的基础知识？我们应该区别词法分析器中NUMBER的整数，浮点数和双精度吗？如何在编译器野牛/词法分析器中打印字符串？词法生成器如何识别语法的关键字？ Clang 的词法分析器和解析器是如何生成的？如何使用 ANTLR 修改 CommonTokenStream 中的令牌文本？

相关标签

粤ICP备18138465号 © 2020-2024 STACKOOM.COM