将 wstring 转换为 UTF-8 编码的字符串

Question

我需要在 wstring 和 string 之间进行转换。 我发现，使用 codecvt facet 应该可以解决问题，但它似乎不适用于 utf-8 语言环境。

我的想法是，当我将 utf-8 编码文件读取为字符时，一个 utf-8 字符被读入两个普通字符（这就是 utf-8 的工作原理）。 我想从我在代码中使用的库的 wstring 表示创建这个 utf-8 字符串。

有人知道怎么做吗？

我已经尝试过了：

  locale mylocale("cs_CZ.utf-8");
  mbstate_t mystate;

  wstring mywstring = L"čřžýáí";

  const codecvt<wchar_t,char,mbstate_t>& myfacet =
    use_facet<codecvt<wchar_t,char,mbstate_t> >(mylocale);

  codecvt<wchar_t,char,mbstate_t>::result myresult;  

  size_t length = mywstring.length();
  char* pstr= new char [length+1];

  const wchar_t* pwc;
  char* pc;

  // translate characters:
  myresult = myfacet.out (mystate,
      mywstring.c_str(), mywstring.c_str()+length+1, pwc,
      pstr, pstr+length+1, pc);

  if ( myresult == codecvt<wchar_t,char,mbstate_t>::ok )
   cout << "Translation successful: " << pstr << endl;
  else cout << "failed" << endl;
  return 0;

对于 cs_CZ.utf-8 语言环境返回“失败”，并且对于 cs_CZ.iso8859-2 语言环境正常工作。

Answer 1

下面的代码可能会帮助你:)

#include <codecvt>
#include <string>

// convert UTF-8 string to wstring
std::wstring utf8_to_wstring (const std::string& str)
{
    std::wstring_convert<std::codecvt_utf8<wchar_t>> myconv;
    return myconv.from_bytes(str);
}

// convert wstring to UTF-8 string
std::string wstring_to_utf8 (const std::wstring& str)
{
    std::wstring_convert<std::codecvt_utf8<wchar_t>> myconv;
    return myconv.to_bytes(str);
}

Answer 2

你的平台是什么？ 请注意，Windows不支持UTF-8语言环境，因此这可以解释您失败的原因。

要以平台相关的方式完成此操作，您可以在Windows上使用MultiByteToWideChar / WideCharToMultiByte ，在Linux上使用iconv 。 您可以使用一些提升魔法以独立于平台的方式完成此操作，但我自己没有尝试过，因此我无法添加此选项。

Answer 3

您可以使用boost的utf_to_utf转换器来获取存储在std :: string中的char格式。

std::string myresult = boost::locale::conv::utf_to_utf<char>(my_wstring);

Answer 4

在 Windows 上，您必须使用 std::codecvt_utf8_utf16<wchar_t>。 否则，在需要两个 16 位代码单元的 Unicode 代码点上，您的转换将失败。 喜欢 (U+1F609)

#include <codecvt>
#include <string>

// convert UTF-8 string to wstring
std::wstring utf8_to_wstring (const std::string& str)
{
    std::wstring_convert<std::codecvt_utf8_utf16<wchar_t>> myconv;
    return myconv.from_bytes(str);
}

// convert wstring to UTF-8 string
std::string wstring_to_utf8 (const std::wstring& str)
{
    std::wstring_convert<std::codecvt_utf8_utf16<wchar_t>> myconv;
    return myconv.to_bytes(str);
}

Answer 5

区域设置的作用是它为程序提供有关外部编码的信息，但假设内部编码没有改变。 如果要输出UTF-8，则需要从wchar_t而不是char* 。

您可以做的是将其作为原始数据（而不是字符串）输出，如果系统区域设置是UTF-8，则应该正确解释它。

另外，当使用(w)cout / (w)cerr / (w)cin您需要在流上填充区域设置。

Answer 6

Lexertl库有一个迭代器，可以让你这样做：

std::string str;
str.assign(
  lexertl::basic_utf8_out_iterator<std::wstring::const_iterator>(wstr.begin()),
  lexertl::basic_utf8_out_iterator<std::wstring::const_iterator>(wstr.end()));

Answer 7

C ++不知道Unicode。 使用外部库，如ICU（ UnicodeString类 ）或Qt（ QString类 ），都支持Unicode，包括UTF-8。