node.js 中管道和流的区别

Question

这是我的代码

const fs = require('fs');
const src = fs.createReadStream('bigfile3.txt');
const des = fs.createWriteStream('newTest.txt');

我可以使用

src.on('data',(chunk)=>{
des.write(chunk);});

或者

src.pipe(des);

这两种处理文件操作的方式有什么区别吗？ 每当我尝试使用大文件时，管道方法都会给我一个错误> "size" argument must not be larger than 2147483647 （~2GB）

谁能解释管道和流背后的工作？ 谢谢。

Answer 1

您应该使用管道方法，因为数据流将被自动管理，以便目标 Writable 流不会被更快的 Readable 流淹没。

如果您的可读流比可写流快，那么您可能会在des.write(data)方法中遇到数据丢失，因此最好使用src.pipe(des);

如果文件大小很大，那么您应该使用流，这是正确的做法，我尝试了类似您的示例，使用流和管道复制 3.5 GB 文件，在我的情况下它完美无缺。 检查你一定做错了什么。

我试过的例子

'use strict'

const fs =require('fs')
const readStream = fs.createReadStream('./Archive.zip')
const writeStream = fs.createWriteStream('./Archive3.zip')


readStream.pipe(writeStream)

但是，如果您仍然需要使用流des.write(data) ，则可以在readStream更快时处理背压以避免数据丢失。 如果des.write(data)的响应为false ，则加载writeStream ，暂停 readStream src.pause() 。

要继续当writeStream排出，手柄drain在回调上writeStream事件和简历。

des.on("drain", () => src.resume())

为了允许更高的 writeStream 缓冲内存，您可以将highWaterMark的readStream设置为一个非常高的值，例如

const des = fs.createWriteStream('newTest.txt',{
     highWaterMark: 1628920128
});

小心太大的highWaterMark因为这会占用太多内存并highWaterMark流数据的主要优势。

我肯定仍然会推荐使用pipe因为它可以用较少的代码为您处理所有事情。

文档：

https://nodejs.org/api/stream.html#stream_writable_write_chunk_encoding_callback

https://nodejs.org/api/stream.html#stream_readable_pipe_destination_options