由于libcurl收到的utf8编码的xml数据的下载而导致的字符串损坏

Question

在一个使用libcurl实现Amazon S3访问库的项目中，UTF8出现问题。 列出存储桶内容的方法将适当的请求发送到S3服务器，并正确签名并全部发送。 我收到一个xml文档，但是数据已损坏。

我将其保存到std :: string中。 例如，它以以下片段开头：

<?xml version="1.0" encoding="UTF-8"?>
<ListBucketResult

在“ ListBucketResult”的最后一个“ t”之后，代码中有一个“ 0”（零），终止了std :: string。 在调试器中查看字符串的内容或将其写入文件将显示此内容，以及在不同位置（例如，在某些（但不是全部）>“）中的更多零。

我使用在WinXP上运行的MS Visual Studio 2008，该项目使用unicode支持进行编译。

我应该怎么做才能在std :: string中接收适当的UTF8（根据多个消息来源，它应该是与Unicode无关的）？ 关于这个有什么提示吗？

bool Http::Download(std::string& url, std::string& targetString, std::vector<std::string>* customHeaders)
{
    CURLcode result = CURLE_FAILED_INIT;
    dl = true;

    if (curl)
    {
        curl = curl_easy_init();

        curl_easy_setopt(curl, CURLOPT_URL, url.c_str());
        curl_easy_setopt(curl, CURLOPT_HEADER, 0);
        curl_easy_setopt(curl, CURLOPT_FOLLOWLOCATION, 1);
        curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, WriteData);
        curl_easy_setopt(curl, CURLOPT_WRITEDATA, &targetString);

        if (unsafe)
        {
            curl_easy_setopt(curl, CURLOPT_SSL_VERIFYPEER, 0L);
            curl_easy_setopt(curl, CURLOPT_SSL_VERIFYHOST, 0L);
        }

        if (customHeaders)
        {
            curl_slist* headers = 0;

            for (std::vector<std::string>::const_iterator iter = customHeaders->begin(); iter != customHeaders->end(); iter++)
            {
                headers = curl_slist_append(headers, (*iter).c_str());
                headers = curl_slist_append(headers, "\n");
            }

            curl_easy_setopt(curl, CURLOPT_HTTPHEADER, headers);
        }

        result = curl_easy_perform(curl);

        long http_code = 0;
        curl_easy_getinfo (curl, CURLINFO_RESPONSE_CODE, &http_code);
        lastHttpResult = static_cast<int>(http_code);

        curl_easy_cleanup(curl);
    }

    return (result == CURLE_OK);
};

size_t Http::WriteData(char* data, size_t size, size_t nmemb, void* target)
{
    if(target)
    {
        reinterpret_cast<std::string*>(target)->append(data);
        size_t len = size * nmemb;
        return len;
    }

    return 0;
};

Answer 1

这行很可能是问题的一部分：

reinterpret_cast<std::string*>(target)->append(data);

data不是以NULL终止的，所以谁知道您要在字符串中输入的内容。 替换为：

reinterpret_cast<std::string*>(target)->append(data, size * nmemb);

Answer 2

在我看来，您应该在WriteData()函数中调用以下代码：

size_t len = size * nmemb;
reinterpret_cast<std::string*>(target)->append(data, len);

CURLOPT_WRITEFUNCTION的libcurl文档指出：

ptr指向的数据的大小是乘以nmemb的大小，不会被零终止。

因此，您不能依靠append(const char*)正确处理追加。