将二进制文件的存储字节数组读取为文本文件中的逗号分隔值

Question

问题陈述：

• 我得到一个文本文件，其中二进制文件的字节数组以逗号分隔的值存储在一行中。
• 例如：82,19,176,106,0,0,0,4,247,35,186,20,87,143,18,120,44,76,100
• 字符串很长，所有内容都在一行中，我无法控制它，因为它取决于二进制文件的大小。
• 我必须读取这个字节数组并将其转换回原始二进制文件。

实现逻辑：
使用 Node.js 和 FS

 var instream = fs.createReadStream('stream1.txt',{ highWaterMark: 1 * 1024, encoding: 'utf8' }); instream.on("data", function(line) { lineCount++; var splitArray = line.split(','); var uintArray = new Uint8Array(splitArray); chunks.push(uintArray); console.log(lineCount); }); instream.on("end", function() { var fullUint8Array = concatenate(chunks); fs.writeFile("abc.prt", Buffer.from(fullUint8Array), function (err) { if (err) { console.log(err); } else { console.log("Done"); } }); });

• 我无法获取原始二进制文件。 它总是被破坏。
• 如果我正在读取单个块中的文件并尝试上述解决方案，它将起作用。 但总是无法做到这一点，因为如果尝试将一个非常大的字符串数组转换为 uint8Array 它会给出 memory 错误。

但是当我以块的形式读取字符串并且我无法获取二进制文件时。

我无法理解我做错了什么。 要使用的技术 Node.JS，javascript。

用示例更新了问题

• 这是一个示例 stream。 (stream1.txt)
• 这是读取stream1.txt后需要的原始二进制文件output。
• 链接到文件
• 连接代码

 //For joining uInt8Arrays function concatenate(arrays) { let totalLength = 0; for (const arr of arrays) { totalLength += arr.length; } const result = new Uint8Array(totalLength); let offset = 0; for (const arr of arrays) { result.set(arr, offset); offset += arr.length; } return result; }

Answer 1

我无法获取原始二进制文件。 它总是被破坏。

不，它没有损坏。 该字符串由逗号分隔，其未编码的值放入Uint8Array中，稍后文件与该数据一起保存。

这或多或少是正在发生的事情

 let line = "82,19,176,106,0,0,0,4,247,35,186,20,87,143,18,120,44,76,100"; let result = line.split(',').map(pr => String.fromCharCode(Number(pr))).join(''); console.log(result); // Solution 1 let encoded = line.split('').map(npr => npr.charCodeAt(0)); result = encoded.map(pr => String.fromCharCode(pr)).join(''); console.log(result); // Solution 2 const encoder = new TextEncoder(); const decoder = new TextDecoder(); encoded = encoder.encode(line); result = decoder.decode(encoded); console.log(result);

如果您应用上面的代码，它可能如下所示：

const fs = require('fs');
let lineCount = 0;
let chunks = [];

const encoder = new TextEncoder();

function concatenate(chunks) {
  return chunks.reduce((acc, chunk) => {
    return new Uint8Array([...acc, ...chunk]);
  }, new Uint8Array([]));
}

var instream = fs.createReadStream('stream1.txt',{ highWaterMark: 1 * 1024  , encoding: 'utf8' });
instream.on("data", function(line) {  
  
  lineCount++;
  var splitArray = line.split(',');
  var uintArray = encoder.encode(line);
  chunks.push(uintArray);
});

instream.on("end", function() {  
  var fullUint8Array = concatenate(chunks);
  fs.writeFile("abc.prt", Buffer.from(fullUint8Array, 'utf-8'), function (err) {
      if (err) {
        console.log(err);
      } else {
        console.log("Done");
      }
  }); 
});

如果我正在读取单个块中的文件并尝试上述解决方案，它将起作用。 但总是无法做到这一点，因为如果尝试将一个非常大的字符串数组转换为 uint8Array 它会给出 memory 错误。

您可以通过创建写入 stream 并将数据立即放在那里来减少 memory 占用空间。

例子

const fs = require('fs');
let lineCount = 0;
let chunks = [];

const encoder = new TextEncoder();
var outputStream = fs.createWriteStream("abc.prt");
var inputStream = fs.createReadStream('stream1.txt',{ highWaterMark: 1 * 1024  , encoding: 'utf8' });

outputStream.on("open", function() {
  inputStream.on("data", function(line) {  
  
    lineCount++;
    var splitArray = line.split(',');
    var uintArray = encoder.encode(line);
    outputStream.write(uintArray);
  });
  
  inputStream.on("end", function() { 
    outputStream.close();
  })
})

Answer 2

如果您正在分块读取文件，则需要调整拆分逻辑以应对这种情况。 您的代码可能确实会产生损坏的结果，因为像82,19,176,106,0,0这样的输入字符串可以读取为82,19,17 + 6,106,0,0或82,19 + ,176,106, + 0,0 。

相反，您需要确保始终读取整个字节值。 如果它后面没有逗号或 eof，您还不能处理它。 我建议使用Transform stream执行此操作（另请参阅有关该技术的这篇文章）：

import { createReadStream, createWriteStream } from 'fs';
import { pipeline, Transform } from 'stream';

const parseCommaSeparatedBytes = new Transform({
  transform(chunk, encoding, callback) {
    const prefix = this.leftover || '';
    const string = prefix + chunk.toString();
    // TODO: validate inputs to be numeric and in the byte range
    const splitArray = string.split(',');
    if (splitArray.length)
      this.leftover = splitArray.pop();
    this.push(new Uint8Array(splitArray));
    callback();
  },
  flush(callback) {
    const last = this.leftover || '';
    if (last.length)
      this.push(new Uint8Array([last]));
    callback();
  },
});

const instream = createReadStream('stream1.txt', {
  highWaterMark: 1024,
  encoding: 'utf8'
});
const outstream = createWriteStream('abc.prt');

pipeline(instream, parseCommaSeparatedBytes, outstream, function (err) {
  if (err) {
    console.error(err);
  } else {
    console.log("Done");
  }
});