读取前先压缩大日志文件

Question

我们有大量的日志（117个日志，总共约有17gb的数据）。 它是纯文本，因此我知道它会很好地压缩。 我不是在寻找出色的压缩或速度（但这将是一个不错的选择）。 我目前要做的是获取要读取的日志文件列表（文件名中带有日期戳，因此我首先对其进行过滤）。 得到列表后，我然后使用File.ReadAllLines()读取每个文件，但我们也会对此进行过滤...

private void GetBulkUpdateItems(List<string> allLines, Regex updatedRowsRegEx)
{
    foreach (var file in this)
        allLines.AddRange(File.ReadAllLines(file).Where(x => updatedRowsRegEx.IsMatch(x)));

    allLines.Sort();
}

从网络读取5个文件大约需要22秒。 我想做的是将文件列表压缩到一个zip文件中。 将zip文件复制到本地，然后将其解压缩并执行其余操作。 问题是我不知道如何开始。 由于我使用的是.net 4.5，因此我首先尝试了System.IO.Compression.ZipFile但是它需要一个Directory，而我并不需要全部117个文件。 我看到有人使用听起来不错的网络流和7zip，而且我相当确定我需要从中获取日志的服务器上已经安装了7zip（可能并不重要，因为我们使用UNC路径）。 所以我被卡住了。 有什么建议么？

Answer 1

ZipArchive是ZipFile的基础类，并允许更精细的操作。

从文章中添加硬编码文本的示例：

using (FileStream zipToOpen = new FileStream(
           @"c:\users\exampleuser\release.zip", FileMode.Open))
{
    using (ZipArchive archive = new ZipArchive(zipToOpen, ZipArchiveMode.Update))
    {
        ZipArchiveEntry readmeEntry = archive.CreateEntry("Readme.txt");
        using (StreamWriter writer = new StreamWriter(readmeEntry.Open()))
        {
                writer.WriteLine("Information about this package.");
                writer.WriteLine("========================");
        }
    }
}

正如Praveen Paulose所建议的那样，您可以使用ZipFileExtensions.CreateEntryFromFile从文件创建条目以添加到存档。