如何在 NodeJS 中創建一對多轉換 Stream？

Question

我正在嘗試使用 NodeJS 流替換 ETL 流程。 我正在嘗試編寫的轉換 stream 獲取數據集，並根據配置數據，將 output 每個輸入的記錄一條或多條記錄。 換句話說，如果它讀取 100000 條記錄，則轉換最終可能會寫入 100000-400000 條記錄。 _transform方法只允許調用一次它的回調，所以我試圖弄清楚如何在每個輸入 object 中 output 多個對象。

我查看了雙工，但我看到的每個示例都將其用作雙向流程，而我絕對希望我的 stream 成為一種方式（或者我可能只是不明白它們是如何工作的）。 任何人都對如何實現這一點有任何建議？

Answer 1

回調只能調用一次，但.push方法是發出數據的，並且可以在_transform方法中根據需要調用多次。 例子：

class MyTransform extends Transform {
  _transform(chunk, enc, next) {
    const arrayFromChunk = chunk.split(',');

    arrayFromChunk.forEach(piece => {
      // this.push is what will emit readable data, can be called as often
      // as needed.
      this.push(piece); 
    });

    next(); // next can only be called once.
  }
}