c# - 将大列表拆分为较小的子列表

Question

刚接触 C# - 坐在这里练习。 我下载了一个用于练习的文件，其中列出了一个包含 1000 万个密码的文件。

我想将文件分解为 99 个列表。在 99 处停止然后做一些事情。 然后从它停止的地方开始并重复对接下来的 99 做某事，直到它到达文件中的最后一项。

我可以很好地完成计数部分，它是在 99 处停止并继续我离开的地方是我遇到问题的地方。 我在网上找到的任何东西都与我想要做的不接近，我自己添加到此代码中的任何东西都不起作用。

如果我不清楚，我很乐意分享更多信息。 只是询问并会回复，但是，我可能要到明天才能回复，具体取决于现在的时间。

这是我已经开始的代码：

using System;
using System.IO;


namespace lists01
{
class Program
{
    static void Main(string[] args)
    {
        int count = 0;
        var f1 = @"c:\tmp\10-million-password-list-top-1000000.txt";           
        {                
            var content = File.ReadAllLines(f1);
            foreach (var v2 in content)
            {
                count++;
                Console.WriteLine(v2 + "\t" + count);
            }
        }
    }
}
}

我的最终目标是使用我拥有的文件中的任何项目列表来执行此操作。 我只使用这个密码列表，因为它很大并且认为它对这个练习有好处。

谢谢基思

Answer 1

这里有几种不同的方法来解决这个问题。 通常，我会建议您在代码中使用ReadAllLines函数。 权衡是您一次将整个文件加载到内存中，然后对其进行操作。

将读取所有行与 Linq 的Skip()和Take()方法结合使用，您可以将这些行分成如下几组：

var lines = File.ReadAllLines(fileName);
int linesAtATime = 99;

for (int i = 0; i < lines.Length; i = i + linesAtATime)
{
    List<string> currentLinesGroup = lines.Skip(i).Take(linesAtATime).ToList();
    DoSomethingWithLines(currentLinesGroup);
}

但是，如果您正在处理一个非常大的文件，将整个文件加载到内存中可能不切实际。 另外，您可能不想在处理线路时让文件保持打开状态。 此选项使您可以更好地控制在文件中的移动方式。 它只是将它需要的部分加载到内存中，并在您处理当前行集时关闭文件。

List<string> lines = new List<string>();
int maxLines = 99;
long seekPosition = 0;
bool fileLoaded = false;
string line;

while (!fileLoaded)
{
    using (Stream stream = File.Open(fileName, FileMode.Open))
    {
        //Jump back to the previous position
        stream.Seek(seekPosition, SeekOrigin.Begin);

        using (StreamReader reader = new StreamReader(stream))
        {
            while (!reader.EndOfStream && lines.Count < maxLines)
            {
                line = reader.ReadLine();
                seekPosition += (line.Length + 2); //Tracks how much data has been read.
                lines.Add(line);
            }
            fileLoaded = reader.EndOfStream;
        }
    }

    DoSomethingWithLines(lines);
    lines.Clear();
}

在本例中，我使用了Stream因为它能够查找文件中的特定位置。 但后来我使用了StreaReader因为它有ReadLine()方法。