Knox S3上传损坏或被截断的文件

Question

这是我真正知道答案的脑筋急转弯问题。 我对此悬赏，因为它代表了宝贵的Node编程安全性提示（这是第一个提示）。

• 提示2：在HTTP请求中，“ Content-Length”标头字段的单位是什么？

我正在使用

var knox = require('knox');
var s3 = knox.createClient({
    key: ...,
    secret: ...,
    bucket: ...
});

// The bug is below:

var stringVal = JSON.stringify(<2d javascript array from a large spreadsheet>)

var req = s3.put(path + filename, {
    'Content-Length': stringVal.length,
    'Content-Type': 'application/json'
});
req.end(stringVal);

结果上传被截断或损坏。 我们有stringVal.length === 322889 ，并且生成的S3项目大小与此匹配。 但是下载并重新加载文件会导致字符串长度为322140 。 在尝试进行JSON解析之前，不会出现任何错误。解析该字符串（可预测）会导致语法错误。

这是怎么回事？

Answer 1

从knox -module（ https://github.com/LearnBoost/knox/blob/master/lib/client.js ）的源代码中，您可以了解到它使用了标准的http -requests。

req.write和req.end默认情况下会从'utf8'转换字符串（ http://nodejs.org/api/http.html#http_request_end_data_encoding ）。

因此，实际上发生的是，您无意中通过设置字符串长度而不是“ Content-Length”字段中的字节数来切断字符串的末尾。 服务器将所有东西扔掉的时间更长； 因此，当您解析字符串时，会出现错误。

最快的解决办法是：

'Content-Length': new Buffer(stringVal).length,

甚至更快：只需删除“ Content-Length”行。