C# MemoryStream & GZipInputStream: Can't.Read more than 256 bytes

Question

我在使用 SharpZipLib 的 GZipInputStream 编写未压缩的 GZIP stream 时遇到问题。 在 rest 未被写入并保持为零的情况下，我似乎只能获得 256 字节的数据。 已检查压缩的 stream（compressedSection），所有数据都在那里（1500+ 字节）。 解压过程片段如下：

int msiBuffer = 4096;
using (Stream msi = new MemoryStream(msiBuffer))
{
    msi.Write(compressedSection, 0, compressedSection.Length);
    msi.Position = 0;
    int uncompressedIntSize = AllMethods.GetLittleEndianInt(uncompressedSize, 0); // Gets little endian value of uncompressed size into an integer

    // SharpZipLib GZip method called
    using (GZipInputStream decompressStream = new GZipInputStream(msi, uncompressedIntSize))
    {
        using (MemoryStream outputStream = new MemoryStream(uncompressedIntSize))
        {
            byte[] buffer = new byte[uncompressedIntSize];
            decompressStream.Read(buffer, 0, uncompressedIntSize); // Stream is decompressed and read         
            outputStream.Write(buffer, 0, uncompressedIntSize);
            using (var fs = new FileStream(kernelSectionUncompressed, FileMode.Create, FileAccess.Write))
            {
                fs.Write(buffer, 0, buffer.Length);
                fs.Close();
            }
            outputStream.Close();
        }
        decompressStream.Close();

所以在这个片段中：

1）压缩段传入，准备解压。

2) 未压缩的 output（存储在 header 中，文件为 2 字节 little-endian 值）的预期大小通过方法将其转换为 Z157DB7DF53002936755E8ZD36。 header 已被较早删除，因为它不是压缩 GZIP 文件的一部分。

3) SharpLibZip 的 GZIP stream 是用压缩文件 stream (msi) 和一个等于 int uncompressedIntSize 的缓冲区声明的（也用 ZA81259CEF845E959C627EDF1D4 的值进行了测试）。

4）我设置了一个 MemoryStream 来处理将 output 写入文件，因为 GZipInputStream 没有读/写功能； 它将预期的解压缩文件大小作为参数（容量）。

5) stream 的读/写需要 byte[] 数组作为第一个参数，所以我设置了一个 byte[] 数组，有足够的空间来获取解压后的 output 的所有字节（本例中为 3584 字节，源自 uncompressedIntSize ）。

6) int GzipInputStream decompressStream uses.Read 将缓冲区作为第一个参数，从偏移量 0 开始，使用 uncompressedIntSize 作为计数。 在这里查看 arguments ，缓冲区数组仍然有 3584 字节的容量，但只给出了 256 字节的数据。 rest 为零。

看起来 output of.Read 被限制为 256 字节，但我不确定在哪里。 Streams 是否有我遗漏的东西，或者这是.Read 的限制？

Answer 1

从 stream 读取时需要循环； 懒惰的方式可能是：

decompressStream.CopyTo(outputStream);

（但这并不能保证在uncompressedIntSize字节后停止 - 它会尝试读取到decompressStream的末尾）

更手动的版本（尊重强加的长度限制）将是：

const int BUFFER_SIZE = 1024; // whatever
var buffer = ArrayPool<byte>.Shared.Rent(BUFFER_SIZE);
try
{
    int remaining = uncompressedIntSize, bytesRead;
    while (remaining > 0 && // more to do, and making progress
        (bytesRead = decompressStream.Read(
        buffer, 0, Math.Min(remaining, buffer.Length))) > 0)
    {
        outputStream.Write(buffer, 0, bytesRead);
        remaining -= bytesRead;
    }
    if (remaining != 0) throw new EndOfStreamException();
}
finally
{
    ArrayPool<byte>.Shared.Return(buffer);
}

Answer 2

这个问题原来是我之前在发布的代码中所做的疏忽：

我正在使用的文件有 27 个 GZipped 部分，但它们每个都有一个 header 如果 GZipInput stream 命中其中任何一个部分，它将破坏 Gzip 解压缩。 打开基本文件时，每次都是从头开始（调整 6 以避免第一个标题），而不是转到下一个 post-head 偏移量：

brg.BaseStream.Seek(6, SeekOrigin.Begin);

代替：

brg.BaseStream.Seek(absoluteSectionOffset, SeekOrigin.Begin);

这意味着提取的压缩数据是第一个无标题部分 + 第二部分的一部分及其 header 的混合物。 由于第一部分是 256 字节长，没有 header，这部分被 GZipInput stream 正确解压缩。 但在那之后是 6 字节的 header 破坏了它，导致 output 的 rest 为 00s。

发生这种情况时，GZipInput stream 没有引发明确的错误，所以我错误地认为原因是 stream 中的.Read 或其他内容保留了上一次传递的数据。 很抱歉给您带来麻烦。