使用Java創建詞法分析器程序的想法

Question

我正在嘗試使用java創建一個詞法分析器程序。程序必須具有標記化的概念。我在編譯器編程方面有初學者的知識。我知道互聯網上存在很多詞法生成器。我可以使用它們來測試自己的詞法分析器輸出。但是我需要做自己的詞法分析器。任何人都可以提供一些最佳參考文獻或文章或想法來開始我的工作嗎？

Answer 1

Aho Sethi和Ullman撰寫的“編譯器原理，技術和工具”有一章是關於詞法分析器的。 它包括很多關於正則表達式和有限自動機的理論，而這是該問題領域的核心。

Answer 2

我會嘗試查看一些更好的源代碼。 我過去曾經使用過Sablecc 。 如果你到這個頁面描述如何設置你的環境，有一個鏈接到它的源代碼。 Antlr也是一個非常常用的工具。 這是它的源代碼。

另外， 《龍書》真的很好。

正如SK-logic所建議的那樣，我正在添加現代編譯器實現作為另一種選擇。