文本处理的正式方法

Question

在编码面试中，我被问到下一个问题：

编写一个程序，计算输入流中的单词和行数。
假设你有一个方法nextChar（）的阅读器。

乍一看，它看起来很简单。 但是你意识到，你需要处理很多状态，比如：

• 连续的单词/行分隔符
• 不同的词尾条件 - 单词分隔符或行分隔符或EOF
• 以字分隔符开头的新字符串
• 等等

在采访中，我想出了一个带有许多if-else和标志的spagetti代码。

但我认为应该有一种正式的方法解决这类问题，这可以保证您处理所有可能的情况，并且可以提供结构化的解决方案。

我认为它可能来自自动机理论，也可能来自编译器理论（我以前从未深入研究过这两个领域中的任何一个）。

所以，如果你在上面的问题中发现了某种类型的问题，或者你知道哪个理论涵盖了这样的问题，请告诉我。

Answer 1

有限状态机 。

这基本上是一个小词法任务。 解决方案永远不会很好，但如果您以下列方式编写代码，则可以对正确性充满信心：

curState <- NONE
while(c <- getChar)
    switch(curState) {
       case NONE:
           switch(c) {
               // ....
           }
           break;
       // .....
    }
}

您还可以使用数据结构来存储转换函数（给定状态和字符，下一个状态是什么？）但是对于您的情况，只编写代码可能是最好的选择。

...不要忘记你的文字编码！ UTF-16，对吧？ :)

您可能想要了解Unix wc实用程序的实现：

• Busybox的
• GNU
• DragonFly BSD
• Mac OS X（来自FreeBSD）

这些将比你在采访中所做的更加精致和特色，但无论如何都很高兴。