如何在C中讀取大文本文件

Question

我正在嘗試使用鏈接列表存儲一個大文件的每一行（從1 GB到70 GB），但這就是問題所在，我不能這樣做，因為它會溢出我的RAM並迫使Windows停止程序執行。

我寫的函數是這些：

struct Word {
    char word[13];
};

typedef struct Nodo {
    struct Word word;
    struct Nodo *next;
} TNodo;

typedef TNodo *Nodo;

void NewWord(Nodo *p, struct Word s) {
    Nodo temp;
    temp = (Nodo)malloc(sizeof(TNodo));
    temp->word = s;
    temp->next = *p;
    *p = temp;
}

void LoadList(Nodo *p) {
    FILE *f;
    struct Word s;
    char *buffer = malloc(sizeof(struct Word));

    if (!(f= fopen("wordlist.txt", "r"))) {
        fclose(f);
        exit(1);
    }

    while (fgets(buffer, sizeof(struct Word), f)) {
        if (sscanf(buffer,"%s", s.word) == 1) {
             NewWord(p, s);
        }
    }
    fclose(f);
    free(buffer);
}

有沒有更好的方法來處理非常大的文本文件中的數據（例如刪除文件行）而不存儲它們？

我嘗試讀取的文本文件具有以下簡單結構：

Word
Worf
Worg

Answer 1

據我了解，我發現以下兩種方法比其他方法更好：

1）將較大的塊讀取到較大的內存緩沖區中，然后從該緩沖區中解析出數據。

2）另一種方法可能是改為對文件進行內存映射，然后操作系統會將文件放入您的進程虛擬內存映射，因此您可以像從內存中讀取一樣進行讀取。

Answer 2

我根據您的回答更改了功能，現在功能NewWord只是將單詞打印到第二個文件中，根據功能step1()和step2()跳過了不必要的單詞。

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#define SIZE 67

char  letters[SIZE] = {'A','B','C','D','E','F','G','H','I','J','K','L','M','N','O','P','Q','R','S','T','U','V','W','X','Y','Z',
                        'a','b','c','d','e','f','g','h','i','j','k','l','m','n','o','p','q','r','s','t','u','v','w','x','y','z',
                        '.','_','1','2','3','4','5','6','7','8','9','0','!','@','$'};


struct Word
{
  char word[13];
};



_Bool step1(char * word)
{
for(int i = 0; i < SIZE; i++)
{
for(int j = 0, c = 0; j < strlen(word); j++)
  {
  if(word[j] == letters[i])
  {
    c++;
    if(c > 3)
    {
      return 1;
    }
  }

  }
}
return 0;

}


_Bool step2(char * word)
{
  for(int i = 0; i < SIZE; i++)
  {
  for(int j = 0; j < strlen(word); j++)
    {
    if(word[j] == letters[i] && word[j+1] == letters[i] && word[j+2] == letters[i])
    {
        return 1;
    }

    }
  }
  return 0;


}


void NewWord(FILE *f, struct Word s)
{
if(step1(s.word ) == 1 || step2(s.word) == 1)
 return;

fprintf(f, "%s\n", s.word);

}


void LoadList()
{
  FILE * f1;
  FILE * f2;
 struct Word s;
  char * buffer = malloc(sizeof(struct Word));

  if(!(f1= fopen("wordlist.txt", "r")))
  {
    fclose(f1);
    exit(1);
  }

  if(!(f2 = fopen("bb.txt", "w")))
  {
    fclose(f2);
    exit(1);
  }


 while(fgets(buffer, sizeof(struct Word), f1))
  {
    if(sscanf(buffer,"%s", s.word) == 1)
     {
       NewWord(f2, s);
     }

  }

fclose(f1);
fclose(f2);
free(buffer);

}



int main()
{
 LoadList();

exit(0);
}