[英]Node JS - Stream data from Busboy to AWS S3
我正在尝试通过 ec2 将文件上传到 s3。 我的第一种方法是 - 将文件完全上传到 ec2,然后将该文件上传到 s3。 这种方法不好,因为从 ec2 到 s3 的传输时间是浪费时间。
目前我正在尝试使用busboy 上传流到s3 上传流,以便上传到 ec2,然后 ec2 到 s3 将同时完成,因为 s3 “上传”方法支持流作为上传主体。
这是我的代码 -
router.post('/s3StreamUpload', function(req, res, next) {
var busboy = new Busboy({headers: req.headers});
busboy.on('file', function (fieldname, file, filename, encoding, mimetype) {
console.log('Before Upload: ' + new Date());
console.log('File [' + fieldname + ']: filename: ' + filename + ', encoding: ' + encoding + ', mimetype: ' + mimetype);
var s3 = new AWS.S3({
params: {Bucket: 'sswa', Key: filename, Body: file},
options: {partSize: 5 * 1024 * 1024, queueSize: 10} // 5 MB
});
s3.upload().on('httpUploadProgress', function (evt) {
console.log(evt);
}).send(function (err, data) {
console.log('After Upload: ' + new Date());
console.log(err, data);
});
});
busboy.on('field', function(fieldname, val, fieldnameTruncated, valTruncated, encoding, mimetype) {
console.log('Field [' + fieldname + ']: value: ' + inspect(val));
});
busboy.on('finish', function() {
console.log('Done parsing form!');
res.writeHead(303, { Connection: 'close', Location: '/' });
res.end();
});
req.pipe(busboy);
});
我怀疑它真的作为流同时上传到 s3 吗? 这种方法有什么缺点吗?
为了测试多部分流式上传到 S3 是否正常工作,我在三个执行点记录了时间日志 -
然后我从 EC2 运行。 在上传各种长度的视频文件(36.1 MB、33.3 MB、52.5 MB)后,我观察到上传到 EC2 的每 5MB(如我定义的)部分会立即传输到 S3。 将部件上传到 S3 时,您将看到以下行的日志。 它将显示带有部件号的文件部分上传进度。
console.log(evt);
对于所有三个上传, busboyFinishTime和s3UploadFinishTime是相同的,或者几乎没有 1 秒的差异。
示例:上传 52.5 MB 时
{
"uploadStartTime": "2016-04-28T14:19:51.365Z",
"busboyFinishTime": "2016-04-28T14:22:26.292Z",
"s3UploadFinishTime": "2016-04-28T14:22:26.558Z"
}
完整代码:
router.post('/s3StreamUpload', function(req, res, next) {
var busboy = new Busboy({headers: req.headers});
var uploadStartTime = new Date(),
busboyFinishTime = null,
s3UploadFinishTime = null;
busboy.on('file', function (fieldname, file, filename, encoding, mimetype) {
console.log('File [' + fieldname + ']: filename: ' + filename + ', encoding: ' + encoding + ', mimetype: ' + mimetype);
var s3 = new AWS.S3({
params: {Bucket: 'sswa', Key: filename, Body: file},
options: {partSize: 5 * 1024 * 1024, queueSize: 10} // 5 MB
});
s3.upload().on('httpUploadProgress', function (evt) {
console.log(evt);
}).send(function (err, data) {
s3UploadFinishTime = new Date();
if(busboyFinishTime && s3UploadFinishTime) {
res.json({
uploadStartTime: uploadStartTime,
busboyFinishTime: busboyFinishTime,
s3UploadFinishTime: s3UploadFinishTime
});
}
console.log(err, data);
});
});
busboy.on('field', function(fieldname, val, fieldnameTruncated, valTruncated, encoding, mimetype) {
console.log('Field [' + fieldname + ']: value: ' + inspect(val));
});
busboy.on('finish', function() {
console.log('Done parsing form!');
busboyFinishTime = new Date();
if(busboyFinishTime && s3UploadFinishTime) {
res.json({
uploadStartTime: uploadStartTime,
busboyFinishTime: busboyFinishTime,
s3UploadFinishTime: s3UploadFinishTime
});
}
});
req.pipe(busboy);
});
根据我的观察,我相信这是使用部署在 EC2 上的 REST API 通过 EC2 将文件上传到 S3 的最佳解决方案之一。
您是否尝试直接从浏览器上传到 S3? 如果是这样,您可以使用 presigned-put 将浏览器直接上传到 S3。
这是使用minio-js生成预签名 PUT url 的方式
s3Client.presignedPutObject('my-bucketname', 'my-objectname', 1000, function(e, presignedUrl) {
if (e) return console.log(e)
console.log(presignedUrl)
})
现在您将这个预签名的 URL 传递给浏览器客户端,该浏览器客户端可以使用 XMLHttpRequest 直接将文件放入 S3。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.