MultiByteToWideChar用垃圾终止输出缓冲区，但未报告任何错误。 为什么？

Question

前几天开发程序时，我不得不将ASCII字符串转换为Unicode字符串。 顺便说一下，我正在Windows和Visual Studio 2012上工作。 我注意到Win32函数MultiByteToWideChar有一些奇怪的行为，我MultiByteToWideChar 。 我在下面编写了一些测试代码：

int main()
{
    /* Create const test string */
    char str[] = "test string";

    /* Create empty wchar_t buffer to hold Unicode form of above string, and initialize (zero) it */
    wchar_t *buffer = (wchar_t*) LocalAlloc(LMEM_ZEROINIT, sizeof(wchar_t) * strlen(str));

    /* Convert str to Unicode and store in buffer */
    int result = MultiByteToWideChar(CP_UTF8, NULL, str, strlen(str), buffer, strlen(str));
    if (result == 0)
        printf("GetLastError result: %d\n", GetLastError());

    /* Print MultiByteToWideChar result, str's length, and buffer's length */
    printf_s(
        "MultiByteToWideChar result: %d\n"
        "'str' length: %d\n"
        "'buffer' length: %d\n",
        result, strlen(str), wcslen(buffer));

    /* Create a message box to display the Unicode string */
    MessageBoxW(NULL, buffer, L"'buffer' contents", MB_OK);

    /* Also write buffer to file, raw */
    FILE *stream = NULL;
    fopen_s(&stream, "c:\\test.dat", "wb");
    fwrite(buffer, sizeof(wchar_t), wcslen(buffer), stream);
    fclose(stream);

    return 0;
}

如您所见，它只需要一个普通的字符串，创建一个缓冲区来存储Unicode字符串，然后将转换后的Unicode字符串放入缓冲区中，并向我展示一些结果，还将缓冲区写入文件中。

输出：

MultiByteToWideChar result: 11
'str' length: 11
'buffer' length: 16

已经很奇怪了。 该函数正在处理C字符串中正确数量的字符，但是wcslen报告的输出缓冲区比C字符串长！ 我很确定我也正确分配了缓冲区。

我尝试使用不同大小的字符串长度，但结尾总是有垃圾，并且wcslen总是报告缓冲区的长度是4的倍数。

最后，对于这个特定的字符串（ "test string" ），这是打印到文件的原始缓冲区：

74 00 65 00 73 00 74 00 20 00 73 00 74 00 72 00   t.e.s.t. .s.t.r.
69 00 6E 00 67 00 AB AB AB AB AB AB AB AB EE FE   i.n.g...........

（即32个字节或16个Unicode字符。）

最后的10个字节为5个字符。 4个U + ABAB和1个U + FEEE对我来说毫无意义。

每次我尝试转换字符串时 ，它们的发生量都不同。

我有点主意。 任何人？

提前致谢！

Answer 1

/* Create empty wchar_t buffer to hold Unicode form of above string, and initialize (zero) it */
wchar_t *buffer = (wchar_t*) LocalAlloc(LMEM_ZEROINIT, sizeof(wchar_t) * strlen(str));

这确实是问题开始的地方。 strlen（str）的值没有意义，尤其是当输入字符串以utf-8编码时。 您往往会无意间放弃它，因为它通常会创建一个过长的缓冲区，而不计算一次关闭的错误。

但是通过正确的方法，您也很容易避免该错误。 您必须两次调用该函数。 第一次，将0作为最后一个参数（cchWideChar）。 该函数返回所需的缓冲区大小（字符，而不是字节）。 现在，这足以分配缓冲区并在第二次调用该函数时传递正确的值。

Answer 2

（将评论转换为答案）

您需要在长度中包括尾随空字符（通过strlen(str) + 1代替strlen(str) ）。 同样，您的buffer太短了一个元素–它的末尾空字符也需要空间。

Answer 3

正如其他人所评论的，您基本上是在通过不正确处理空终止符来滥用MultiByteToWideChar()和wcslen() 。 如果在调用MultiByteToWideChar()时不包括空终止符，则不会输出空终止符。

尝试以下方法：

int main() 
{ 
    /* Create const test string */ 
    char str[] = "test string"; 
    int strLen = strlen(str);

    WCHAR *buffer = NULL;
    int bufLen = 0;

    /* Calculate buffer size */ 
    int result = MultiByteToWideChar(CP_UTF8, NULL, str, strLen, NULL, 0); 
    if (result > 0)
    {
        /* Create buffer to hold Unicode form of above string */ 
        buffer = (WCHAR*) LocalAlloc(LPTR, sizeof(WCHAR) * (result+1)); 
        if (buffer != NULL)
        { 
            /* Convert str to Unicode and store in buffer */ 
            bufLen = result; 
            result = MultiByteToWideChar(CP_UTF8, NULL, str, strLen+1, buffer, bufLen); 
        }
    }

    if ((!buffer) || (result == 0))
        printf("GetLastError result: %d\n", GetLastError());          

    /* Print MultiByteToWideChar result, str's length, and buffer's length */ 
    printf_s( 
        "MultiByteToWideChar result: %d\n" 
        "'str' length: %d\n" 
        "'buffer' length: %d\n", 
        result, strLen, bufLen); 

    /* Create a message box to display the Unicode string */ 
    MessageBoxW(NULL, buffer, L"'buffer' contents", MB_OK); 

    /* Also write buffer to file, raw */ 
    FILE *stream = NULL; 
    errno_t err = fopen_s(&stream, "c:\\test.dat", "wb");
    if (err == 0)
    { 
        fwrite(buffer, sizeof(WCHAR), bufLen, stream); 
        fclose(stream); 
    }
    else
        printf("Errno result: %d\n", err);

    if (buffer)
        LocalFree(buffer);

    return 0; 
} 

由于使用的是C ++，因此可以改为使用std::string和std:wstring简化内存管理。

int main() 
{ 
    /* Create const test string */ 
    std::string str = "test string"; 
    std::wstring buffer;

    /* Calculate buffer size */ 
    int result = MultiByteToWideChar(CP_UTF8, NULL, str.c_str(), str.length(), NULL, 0); 
    if (result > 0)
    {
        /* Allocate buffer to hold Unicode form of above string */ 
        buffer.resize(result); 

        /* Convert str to Unicode and store in buffer */ 
        result = MultiByteToWideChar(CP_UTF8, NULL, str.c_str(), str.length(), &buffer[0], result); 
    }

    if (result == 0)
        printf("GetLastError result: %d\n", GetLastError());          

    /* Print MultiByteToWideChar result, str's length, and buffer's length */ 
    printf_s( 
        "MultiByteToWideChar result: %d\n" 
        "'str' length: %d\n" 
        "'buffer' length: %d\n", 
        result, str.length(), buffer.length()); 

    /* Create a message box to display the Unicode string */ 
    MessageBoxW(NULL, buffer.c_str(), L"'buffer' contents", MB_OK); 

    /* Also write buffer to file, raw */ 
    FILE *stream = NULL; 
    errno_t err = fopen_s(&stream, "c:\\test.dat", "wb");
    if (err == 0)
    { 
        fwrite(buffer.data(), sizeof(std::wstring::value_type), buffer.length(), stream); 
        fclose(stream); 
    }
    else
        printf("Errno result: %d\n", err);

    return 0; 
}