[英]How to convert a large stream to a gzipped base64 string
我正在构建一个分析平台,我想先压缩ETL(提取转换负载)作业,然后再将其存储在数据库中。 在开始编写代码之前,我想知道是否有一些经验的人可以告诉我如何正确地做。 我想gzip数据,然后将其转换为base64字符串。 我是简单地gzip转换为base64还是不能正常工作?
这是我目前用于这些大型数据集的过程。
var streamObj = athenaClient.execute('my query').toStream()
var data = [];
redis.set('Some Dashboard Data', '[')
streamObj.on('data', function(record) {
// TODO gzip record then convert to base64
if (data.length === 500) {
let tempData = JSON.stringify(data);
data = []
redis.append('Some Dashboard Data', tempData.slice(1, tempData.length - 1) + ',')
}
data.push(record);
})
}
如果这不可能,有没有办法存储压缩后的字符串?
只是为了进一步阐述Zilvinas的答案。 我将向大家展示我是如何工作的。
const athena = require('./athena')
const redis = require('./redis')
const zlib = require('zlib')
const Stream = require('stream')
exports.persistStream = (config, query, name, transform) => {
return new Promise((resolve, reject) => {
let recordCount = 0
var transformStream = new Stream.Transform({ writableObjectMode: true, readableObjectMode: true})
transformStream._transform = function (chunk, encoding, done) {
recordCount++
if (transform) chunk = transform(chunk)
let jsonChunk = JSON.stringify([chunk])
switch (true) {
case recordCount === 1:
jsonChunk = jsonChunk.slice(0, jsonChunk.length - 1); break
default:
jsonChunk = ',' + jsonChunk.slice(1, jsonChunk.length - 1); break
}
this.push(jsonChunk)
done();
};
transformStream._final = function (done) {
this.push(']')
done()
}
const gzip = zlib.createGzip()
let buffers = []
var stream = athena.execute(query)
.toStream()
.pipe(transformStream)
.pipe(gzip)
gzip.on('data', (chunk) => {
buffers.push(chunk)
})
gzip.on('end', function () {
let buffer = Buffer.concat(buffers)
redis.set(name, buffer.toString('base64'), (err, response) => {
zlib.gzip(config, (err, buff) => {
redis.set(name + ' Config', buff.toString('base64'), (err, response) => {
if (err) {
console.log(err)
reject()
} else {
console.log(name + ' succeeded')
resolve()
}
})
})
})
})
stream.on('error', (err) => {
console.log(err)
reject()
})
})
}
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.