如何在字符级别处理Unicode字符串？

Question

有时在字符级别上不可避免地要操纵字符串。

在这里，我有一个为基于ANSI / ASCII的字符串编写的函数，该函数仅用LF替换CR / LF序列，也用LF替换CR。 我们之所以使用它，是因为由于各种文本或电子邮件程序使传入的文本文件混乱而常常使行尾变得笨拙，因此我需要它们采用一致的格式，以使解析/处理/输出正常工作。

这是从各种行尾到LF的压缩的相当有效的实现，每个字符每个字节的实现：

// returns the in-place conversion of a Mac or PC style string to a Unix style string (i.e. no CR/LF or CR only, but rather LF only)
char * AnsiToUnix(char * pszAnsi, size_t cchBuffer)
{
    size_t i, j;
    for (i = 0, j = 0; pszAnsi[i]; ++i, ++j)
    {
        // bounds checking
        ASSERT(i < cchBuffer);
        ASSERT(j <= i);

        switch (pszAnsi[i])
        {
            case '\n':
                if (pszAnsi[i + 1] == '\r')
                    ++i;
                break;

            case '\r':
                if (pszAnsi[i + 1] == '\n')
                    ++i;
                pszAnsi[j] = '\n';
                break;

            default:
                if (j != i)
                    pszAnsi[j] = pszAnsi[i];
        }

    }

    // append null terminator if we changed the length of the string buffer
    if (j != i)
        pszAnsi[j] = '\0';

    // bounds checking
    ASSERT(pszAnsi[j] == 0);

    return pszAnsi;
}

我正在尝试将其转换为可以与多字节/ unicode字符串一起正常使用的东西，其中下一个字符的大小可以为多倍字节宽。

所以：

1. 我只需要在一个有效的字符点上查看一个字符（而不是在字符中间）
2. 我需要正确复制被拒绝部分的一部分字符（即复制整个字符，而不仅仅是字节）

我知道_mbsinc（）会给我一个真实字符的下一个起始地址。 但是Unicode（UTF16）的等效功能是什么，是否已经存在能够复制完整字符的原语（例如length_character（wsz））？

Answer 1

关于UTF-8的美丽之处之一是，如果您只关心ASCII子集，则根本不需要更改代码。 非ASCII字符被编码为多字节序列，其中所有字节都设置了高位，从而使它们自身不在ASCII范围之内。 您的CR / LF替代品应该可以正常工作而无需修改。

UTF-16具有相同的属性。 可以编码为单个16位实体的字符永远不会与需要多个实体的字符冲突。

Answer 2

不要尝试在内部将文本混合使用任何编码，并使用真正的地狱编码。

首先选择一些“内部”编码。 当目标平台是UNIX时，那么UTF-8是很好的选择，在那里显示会稍微容易一些。 如果目标平台是Windows，那么UTF-16是很好的选择，Windows随时随地在内部使用它。 无论您选择什么，都坚持下去。

然后，将所有传入的“脏”文本转换为该编码。 另外，您可能会进行一些实际上完全像您的代码的重新格式化，只有在包含UTF-16的wchar_t的情况下，您才必须使用L'\\n'类的文字。