[英]Reading large number of bytes from GZIPInputStream
我正在通过GZIPInputStream阅读gzip压缩文件。 我想一次读取大量数据,但是无论我要求GZIPInputStream读取多少字节,它总是读取的字节数要少得多。 例如,
val bArray = new Array[Byte](81920)
val fis = new FileInputStream(new File(inputFileName))
val gis = new GZIPInputStream(fis)
val bytesRead = gis.read(bArray)
读取的字节总是在1800字节左右,而它应该几乎等于bArray的大小,在这种情况下为81920。 为什么会这样呢? 有没有办法解决此问题,并且确实读取了更多字节?
如果您有大量数据,我会尝试使用akka流。
implicit val system = ActorSystem()
implicit val ec = system.dispatcher
implicit val materializer = ActorMaterializer()
val fis = new FileInputStream(new File(""))
val gis = new GZIPInputStream(fis)
val bfs: BufferedSource = Source.fromInputStream(gis)
bfs
公开用于流处理的Flow
api。
您还可以从中获得一个流:
val ss: Stream[String] = bfs.bufferedReader().lines()
读取返回的字节可能总是少于您要求的字节,因此通常您总是必须循环读取任意数量的字节。
换句话说,给GZIPInputStream
一个大缓冲区并不意味着它将在给定请求中被填充。
import java.util.zip.GZIPInputStream
import java.io.FileInputStream
import java.io.File
import java.io.InputStream
import java.io.FilterInputStream
object Unzipped extends App {
val inputFileName = "/tmp/sss.gz"
val bArray = new Array[Byte](80 * 1024)
val fis = new FileInputStream(new File(inputFileName))
val stingy = new StingyInputStream(fis)
val gis = new GZIPInputStream(stingy, 80 * 1024)
val bytesRead = gis.read(bArray, 0, bArray.length)
println(bytesRead)
}
class StingyInputStream(is: InputStream) extends FilterInputStream(is) {
override def read(b: Array[Byte], off: Int, len: Int) = {
val n = len.min(1024)
super.read(b, off, n)
}
}
因此,请循环执行以耗尽资源,而不是发出一个读取:
import reflect.io.Streamable.Bytes
val sb = new Bytes {
override val length = 80 * 1024L
override val inputStream = gis
}
val res = sb.toByteArray()
println(res.length) // your explicit length
我并不是说这是要使用的API,只是为了演示。 我懒得写一个循环。
好的,我找到了解决方案。 GZIPInputStream有一个构造函数版本,该版本也采用缓冲区的大小。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.