strtok / strtok_r在中间退出解析

Question

strtok_r将空字符放入输入字符串的不同位置。 仅在strtok_r返回NULL之后， strtok_r还原原始字符串。

如果我需要在长字符串开头附近的某个位置提取令牌怎么办？ 如果我退出循环，则输入字符串将保持断开状态。 我可以尝试手动还原定界符，但是我不知道它是否是最后一个标记。 问题是未记录saveptr值。

void extract_nth_token(char *res, size_t reslen, char *str, const char *delim, int n) {
  int i;
  char *token;
  char *save_ptr;

  token = strtok_r(str, delim, &save_ptr);
  for(i = 0; token != NULL; i++) {
    token = strtok_r(NULL, delim, &save_ptr);
    if (i == n) {
      snprintf(res, reslen, "%s", token);
      /* token[strlen(token)] = delim[0]; */
      /* break; */
    }
  }
}

Answer 1

strtok（）和strtok_r（）是可怕的功能：

• 他们修改输入字符串
• 它们将连续的定界符视为一个，当跳过空白时可能会用到，但在解析.CSV（或制表符分隔的）输入时就不会使用。

最好是完全避免使用strtok（）和strtok_r（），并使用strspn（）和strcspn（）。 下面的功能可以做到这一点。 返回值类似于snprintf（）的返回值：找到的令牌中的字符数（不计算终止的NUL字节）

• 如果没有令牌#n：将'\\ 0'写入缓冲区并返回0
• 如果缓冲区对于找到的令牌加上终止的NUL字节而言太小，则将'\\ 0'写入缓冲区，并返回令牌长度
• 如果缓冲区足够大，则将令牌+'\\ 0'写入其中，并返回strlen（token）。

---

#include <stdio.h>
#include <string.h>

size_t extract_nth_token_ohne_strtok_r(char *res, size_t maxlen, const char *str, const char *delim, int n)
{
size_t pos, len;
int itok;

for (itok=0,pos=0; str[pos]; ) {
        len = strcspn(str+pos, delim);
        if (itok++ == n) {
                if (len < maxlen) memcpy(res, str+pos, len), res[len] = 0;
                else res[0] = 0;
                return len;
                }
        pos += len;
        if (str[pos]) pos++;
        }
res[0] = 0;
return 0;
}

int main(void)
{
char * omg = "zero one\ttwo \tfour\nfive" ;
char token[80];
size_t toklen;
int ii;

printf("\n## With a large enough buffer:\n" );
for (ii=0; ii < 7; ii++) {
        toklen = extract_nth_token_ohne_strtok_r(token, sizeof token
                , omg, " \t\n", ii);
        printf("%d: res=%zu \"%s\"\n" , ii, toklen, token );
        }

printf("\n## With 4-character buffer:\n" );
for (ii=0; ii < 7; ii++) {
        toklen = extract_nth_token_ohne_strtok_r(token, 4
                , omg, " \t\n", ii);
        printf("%d: res=%zu \"%s\"\n" , ii, toklen, token );
        }

return 0;
}

---

注意：如果确实要将连续的whitspace视为一个，则可以替换if (str[pos]) pos++; ;。 通过：

pos += strspn(str+pos, delim);