[英]nodejs, use oboe to send large stream or large JSON files have some wrong
我将文件从一台服务器(例如:127.0.0.1:3000)发送到另一台服务器(例如:127.0.0.1:3001),我发现当文件太大时,传输会出现问题。
例如:
//127.0.0.1:3000
router.post('/getStream',function(req, res, next){
function getResultStream(){
return new Promise(function(resolve, reject){
oboe('http://127.0.0.1:3001/getEnvelopeResult_2')
.done(function(things) {
resolve(things);
}).node(function(e){
console.log(e);
})
.fail(function(e) {
console.log(e);
reject(e);
});
});
}
getResultStream().then(function(body){
res.json({data:body});
}).catch(function(err){
res.json({message:err});
});
});
例如另一台服务器:我将获得一个json file.json
并转换为Stream
。
//127.0.0.1:3001
app.get('/getStream',function(req, res, next){
let path="json/file.json";
oboe(fs.createReadStream(path))
.done(function(things) {
send(things,res);
})
.fail(function(e) {
res.json({message:e});
});
function send(things,res){
things.errorArray = JSON.parse(things.errorArray);
let json = JSON.stringify(things);
highland([
json
])
.invoke('split', [''])
.sequence()
.pipe(res)
}
});
file.json
大小约为3000 KB。 内容如下:
{"array":"[{\"No\":1,\"tyep\":\"none\",\"checkflag\":true,\"active\":true,\"time\":\"2017-11-08T07:04:49.024Z\"}...30000 pieces ]
"file":"axzf",
"last":30000,
"start":1
}
此array
的绝大部分容量约为30,000。 我尝试了10,000和20,000和30,000 ...,但是失败了。 只有大约少于1100的array
才能成功传输。
错误信息部分:
{ statusCode: undefined,
body: undefined,
jsonBody: undefined,
thrown:
Error: Max buffer length exceeded: textNode
Ln: 1
Col: 131072
Chr: undefined
at Error (native)
at emitError
at emitOne (events.js:96:13)
at IncomingMessage.emit (events.js:188:7)
at readableAddChunk (_stream_readable.js:176:18)
at IncomingMessage.Readable.push (_stream_readable.js:134:10)
at HTTPParser.parserOnBody (_http_common.js:123:22)
at Socket.socketOnData (_http_client.js:363:20)
at emitOne (events.js:96:13)
at Socket.emit (events.js:188:7)
at readableAddChunk (_stream_readable.js:176:18)
at Socket.Readable.push (_stream_readable.js:134:10)
at TCP.onread (net.js:547:20) }
maxActual = Math.max(maxActual, textNode.length);
^
TypeError: Cannot read property 'length' of undefined
at checkBufferLength
如果无法减少信息,该如何改善,或者必须以其他方式做些事情?
高地: http : //highlandjs.org/双簧管: http : //oboejs.com/
嘿,我看到这篇文章有点老了,但是我遇到了类似的问题,我只能使用node来解决此问题。
为此测试已相应设置了我的目录:
.
├── s1
│ └── lorem.txt
├── s2
├── server.js
└── transmitter.js
鉴于此,我能够使用以下代码解决此问题:
const http = require('http');
const fs = require('fs');
const requestOpts = {
hostname: 'localhost',
port: 1337,
method: 'POST'
};
const readStream = fs.createReadStream('./s1/lorem.txt');
const request = http.request(requestOpts);
readStream.pipe(request);
const http = require('http');
const fs = require('fs');
http.createServer((request, response) => {
const writeStream = fs.createWriteStream('./s2/lorem.txt');
request.on('data', (chunk) => {
writeStream.write(chunk);
});
request.on('end', () => {
writeStream.close();
response.end();
});
}).listen(1337);
您可以通过运行测试这个node server.js
在一个终端窗口,并在另一个运行transmitter.js
。
结果应该是lorem.txt
出现在s2
目录中,与s1
出现的完全相同。
显然,还有很多工作要做,以使该制作值得进行,但希望这可以帮助下一个人像我一样在这里徘徊。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.