将定界符视为输入令牌

Question

我想知道如何在C ++和Java中做到这一点（编辑：我不是同时意思。我在问两个类似的问题，“我如何在C ++中做到这一点？”和“我如何做到这一点”。在Java中？”）。

我想解析文件中的输入，并将'（'和'）'视为除空格之外的分隔符。 但我也希望每次遇到'（'或'）'被识别为一个单独的标记。 因此，例如在解析时

该contians（嵌套（括号））

我想连续调用next（）（或>>）来给（每行一个）

This
contains
(
nested
(
parentheses
)
)
<end of input>

是否有内置此功能的解析器/扫描器？ 我知道Java的Scanner功能强大，但据我所知，每次遇到下一个标记时，都无法确定匹配哪个定界符。

Answer 1

除了编译器和编译器的讨论之外，可以使用两个索引来天真的实现这种解析器：

for(int i = 0; i < str.size(); ) {
  int j = i;
  for(; j < str.size(); ++j) {
    // check for spaces
    if(str[j] == ' ') {
      // capture substring index i to j-1 as a token
      i = j+1;
      break;
    }

    // check for brackets
    if(str[j] == '(' || str[j] == ')') {
      // str[j] is a token
      i = j+1;
      break;
    }

  }

  // no more characters to check
  if(j >= str.size()) break;
}

基本上，i是指示标记开始的标记，而j用于搜索标记结束的位置。

免责声明：上面的代码未经测试，可能包含语法错误和错误，尤其是在输入为空，空格等的情况下，并且可能在大数据上表现不佳。 重新发明轮子之前，请考虑使用3rd party库。

或者，对于使用最少代码量的解决方案，您可以将每次出现的“（”替换为“（”（同样用“）”）并进行空格标记化：

str.replaceAll("(", " ( ").split("\s+");

Answer 2

这应该由正则表达式轻松处理。 类似于““ \\\\ s *（？：（\\\\ w +）|（[（（]]）））”的东西应该可以在C ++ 11中解决（对于早期版本的C ++，您需要Boost Regular表达式）。 Java还具有正则表达式支持，因此您应该可以在其中进行同样的操作。

在这两种情况下，上面的表达式都会跳过空格，然后“捕获”组1中的符号或组2中的括号。