将 Unicode UTF-8 字符串存储在 std::string 中

Question

作为对讨论的回应

C++ 中的跨平台字符串（和 Unicode）

如何以跨平台友好的方式处理 C/C++ 中的 Unicode 字符串？

我正在尝试将UTF-8字符串分配给Visual Studio 2010环境中的std::string变量

std::string msg = "महसुस";

但是，当我查看字符串视图调试器时，我只看到“?????” 我将文件保存为 Unicode（带签名的 UTF-8），并且我正在使用字符集“使用 unicode 字符集”

“महसुस”是尼泊尔语，包含5个字符，占15个字节。 但是 Visual Studio 调试器将 msg 大小显示为 5

我的问题是：

如何使用 std::string 仅存储 utf-8 而无需操作它？

Answer 1

如果您使用的是C ++ 11，那么这很容易：

std::string msg = u8"महसुस";

但是，既然你不是，你可以使用转义序列而不依赖源文件的字符集来管理编码，这样你的代码就更容易移植（如果你不小心将它保存为非UTF8格式）：

std::string msg = "\xE0\xA4\xAE\xE0\xA4\xB9\xE0\xA4\xB8\xE0\xA5\x81\xE0\xA4\xB8"; // "महसुस"

否则，您可能会考虑在运行时进行转换：

std::string toUtf8(const std::wstring &str)
{
    std::string ret;
    int len = WideCharToMultiByte(CP_UTF8, 0, str.c_str(), str.length(), NULL, 0, NULL, NULL);
    if (len > 0)
    {
        ret.resize(len);
        WideCharToMultiByte(CP_UTF8, 0, str.c_str(), str.length(), &ret[0], len, NULL, NULL);
    }
    return ret;
}

std::string msg = toUtf8(L"महसुस");

Answer 2

您可以在Watches窗口中编写msg.c_str(), s8以正确查看UTF-8字符串。

Answer 3

如果你有C ++ 11，你可以写u8"महसुस" 。 for each byte in the UTF-8 sequence. 否则，您必须使用\\x 为UTF-8序列中的每个字节写入实际的字节序列。

通常，您最好从配置文件中读取此类文本。

Answer 4

由于's8' 格式说明符，有一种方法可以显示正确的值。 如果我们将'，s8'附加到变量名称，Visual Studio将以UTF-8重新分析文本并正确呈现文本：

如果您使用的是Microsoft Visual Studio 2008 Service Pack 1，则需要应用修补程序

http://support.microsoft.com/kb/980263

Answer 5

如果将系统区域设置设置为英语，并且文件是UTF-8而没有BOM，则VC将允许您按原样存储字符串。 我在这里写了一篇关于此的文章。