使用适用于Node.js / Restify的AWS开发工具包通过POST将数据上传到S3

Question

我试图弄清楚如何通过我在Node.js / Restify中编写的RESTful API将数据上传到Amazon S3存储桶。 我认为我已经使所有基本概念都起作用了，但是当我连接到POST请求的正文时，事情就出现了问题。 当我将回调函数设置为仅将字符串传递给S3时，它就可以正常工作，并且文件在相应的S3存储桶中创建：

function postPoint(req, res, next) {

  var point = [
    { "x": "0.12" },
    { "y": "0.32" }
  ];

  var params = { Bucket: 'myBucket', Key: 'myKey', Body: JSON.stringify(point) };

  s3.client.putObject(params, function (perr, pres) {
    if (perr) {
        console.log("Error uploading data: ", perr);
    } else {
        console.log("Successfully uploaded data to myBucket/myKey");
    }
  });

  res.send(200);
  return next();
}

server.post('/point', postPoint);

显然，我最终需要从请求的主体中流式传输/管道我的请求。 我以为我要做的就是将参数的主体切换到请求流：

function postPoint(req, res, next) {

  var params = { Bucket: 'myBucket', Key: 'myKey', Body: req };

  s3.client.putObject(params, function (perr, pres) {
    if (perr) {
        console.log("Error uploading data: ", perr);
    } else {
        console.log("Successfully uploaded data to myBucket/myKey");
    }
  });

  res.send(200);
  return next();
}

但这最终导致显示以下日志消息：“上传数据时出错：[TypeError：路径必须是字符串]”，这几乎没有指示我需要做什么来解决该错误。 最终，我希望能够通过管道传递结果，因为发送的数据可能非常大（我不确定前面的示例是否导致正文存储在内存中），所以我认为这样的事情可能会起作用：

function postPoint(req, res, next) {

  var params = { Bucket: 'myBucket', Key: 'myKey', Body: req };

  req.pipe(s3.client.putObject(params));

  res.send(200);
  return next();
}

由于我已经在GET函数中完成了类似的工作，所以效果很好：( s3.client.getObject(params).createReadStream().pipe(res); ）。 但这也不起作用。

我现在有点茫然，因此任何指导将不胜感激！

Answer 1

因此，在AWS开发人员论坛上发布后，我终于找到了答案。 事实证明，我的S3请求中缺少Content-Length标头。 Loren @ AWS总结得很好：

为了将任何对象上载到S3，您需要提供一个Content-Length。 通常，SDK可以从Buffer和String数据（或任何具有.length属性的对象）推断内容，并且我们对文件流进行特殊检测以获取文件长度。 不幸的是，SDK无法确定任意流的长度，因此，如果传递HTTP流之类的内容，则需要自己手动提供内容长度。

建议的解决方案是仅从http.IncomingMessage对象的标头传递内容长度：

var params = {
  Bucket: 'bucket', Key: 'key', Body: req,
  ContentLength: parseInt(req.headers['content-length'], 10)
};
s3.putObject(params, ...);

如果有人有兴趣阅读整个线程，则可以在此处访问它。