如何使用C＃拆分大文本文件（32 GB）

Question

我尝试使用下面的代码将文件拆分为32GB，但我得到了memory exception 。

请建议我使用C#拆分文件。

string[] splitFile = File.ReadAllLines(@"E:\\JKS\\ImportGenius\\0.txt");

int cycle = 1;
int splitSize = Convert.ToInt32(txtNoOfLines.Text);
var chunk = splitFile.Take(splitSize);
var rem = splitFile.Skip(splitSize);

while (chunk.Take(1).Count() > 0)
{
    string filename = "file" + cycle.ToString() + ".txt";
    using (StreamWriter sw = new StreamWriter(filename))
    {
        foreach (string line in chunk)
        {
    sw.WriteLine(line);
        }
    }
    chunk = rem.Take(splitSize);
    rem = rem.Skip(splitSize);
    cycle++;
}

Answer 1

好吧，首先，您需要使用File.ReadLines （假设您使用的是.NET 4），以便它不会尝试将整个内容读入内存。 然后我只是继续调用一个方法来向新文件吐出“下一行”但很多行：

int splitSize = Convert.ToInt32(txtNoOfLines.Text);
using (var lineIterator = File.ReadLines(...).GetEnumerator())
{
    bool stillGoing = true;
    for (int chunk = 0; stillGoing; chunk++)
    {
        stillGoing = WriteChunk(lineIterator, splitSize, chunk);
    }
}

...

private static bool WriteChunk(IEnumerator<string> lineIterator,
                               int splitSize, int chunk)
{
    using (var writer = File.CreateText("file " + chunk + ".txt"))
    {
        for (int i = 0; i < splitSize; i++)
        {
            if (!lineIterator.MoveNext())
            {
                return false;
            }
            writer.WriteLine(lineIterator.Current);
        }
    }
    return true;
}

Answer 2

不要立即将所有行读入数组，而是使用StremReader.ReadLine方法，如：

using (StreamReader sr = new StreamReader(@"E:\\JKS\\ImportGenius\\0.txt")) 
{
    while (sr.Peek() >= 0) 
    {
       var fileLine = sr.ReadLine();
       //do something with line
    }
}

Answer 3

而不是使用File.ReadAllLines一次读取所有文件，而是在foreach循环中使用File.ReadLines来根据需要读取行。

foreach (var line in File.ReadLines(@"E:\\JKS\\ImportGenius\\0.txt"))
{
    // Do something
}

编辑：在不相关的注释中，在为字符串添加“@”前缀时，不必转义反斜杠。 所以写"E:\\\\JKS\\\\ImportGenius\\\\0.txt"或@"E:\\JKS\\ImportGenius\\0.txt" ，但@"E:\\\\JKS\\\\ImportGenius\\\\0.txt"是多余的。

Answer 4

 File.ReadAllLines 

这将把整个文件读入内存 。

要处理大型文件，您只需要在内存中读取您需要的内容，然后在完成后立即将其丢弃。

一个更好的选择是File.ReadLines ，它返回一个惰性枚举器，当你从枚举器得到下一行时，数据只被读入内存。 如果您避免多次枚举（例如，不使用Count() ），则只会读取文件的某些部分。

Answer 5

这里的问题是你使用File.ReadAllLines()一次将整个文件的内容读入内存。 您需要做的是使用File.OpenRead()打开FileStream并读取/写入较小的块。

编辑：实际上对于你的情况ReadLine显然更好。 看到其他答案。 :)

Answer 6

使用StreamReade r读取文件，使用StreamWriter写入。