节点双工流在读取时实际上不会发出数据

Question

我正在研究最终将用于 nodejs 中的键值对象流的各种数据接收器。

我偶然发现了双工流并开始尝试使用它们来弄湿我的脚，但我尝试的一切似乎都不起作用。

目前，我有这个双工流：

class StorageStream extends stream.Duplex {
  constructor() {
    super({
      objectMode: true
    })

    this.values = new Map();
    this.entries = this.values.entries();
  }

  _write(data, encoding, next) {
    const { key, value } = data;

    this.values.set(key, value);

    next();
  }

  _read() {
    const next = this.entries.next();

    if (next.value) {
      this.push(next.value);
    }
  }
}

这是一个超级设计的例子，但本质上，当我写入这个流时，它应该将键和值存储在地图中，当我从这个流中读取时，它应该开始从地图读取并将它们传递到流中。 但是，这不起作用，基本上执行以下操作

const kvstream = createKVStreamSomeHow(); // a basic, readable stream with KV Pairs

const logger = createLoggerStreamSomeHow(); // writable stream, logs the data coming through

const storage = new StorageStream();

kvstream.pipe(storage).pipe(logger);

导致进程刚刚结束。 所以我想我对我应该在_read方法中做什么感到有点困惑。

Answer 1

OP提供的代码的一些观察：

1. 遍历read()返回的键的迭代器是在设置任何键之前生成的，在： this.entries = this.values.entries(); . 因此，调用 read() 永远不会产生输出。
2. 如果在 Map 中设置了新键，则不会将其推送到读取缓冲区以供后续可写处理

可以使用内置的Transform (docs)构造函数简化双工实现。 转换构造函数非常适合存储转发场景。

这是如何在这种情况下应用流转换的示例。 请注意， pipeline()函数不是必需的，并且已在此示例中用于简化等待可读对象发出其所有数据的过程：

const { Writable, Readable, Transform, pipeline } = require('stream');

class StorageStream extends Transform {
  constructor() {
    super({
      objectMode: true
    })

    this.values = new Map();
  }

  _transform(data, encoding, next) {
    const { key, value } = data;

    this.values.set(key, value);
    console.log(`Setting Map key ${key} := ${value}`)

    next(null, data);
  }
}

(async ()=>{
  await new Promise( resolve => {
    pipeline(
      new Readable({
        objectMode: true,
        read(){
          this.push( { key: 'foo', value: 'bar' } );
          this.push( null );
        }
      }),
      new StorageStream(),
      new Writable({
        objectMode: true,
        write( chunk, encoding, next ){
          console.log("propagated:", chunk);
          next();
        }
      }),
      (error) => {
        if( error ){
          reject( error );
        }
        else {
          resolve();
        }
      }
    );
  });
})()
  .catch( console.error );

这会产生以下输出

> Setting Map key foo := bar
> propagated: { key: 'foo', value: 'bar' }

并且可以用作

kvstream.pipe(new StorageStream()).pipe(logger);