如何使用Delphi讀取文本文件中的最后一行

Question

我需要讀取一些非常大的文本文件的最后一行（以從數據中獲取時間戳）。 TStringlist是一種簡單的方法，但是它返回內存不足錯誤。 我正在嘗試使用查找和塊讀取，但是緩沖區中的字符都是胡說八道。 這和unicode有關嗎？

    Function TForm1.ReadLastLine2(FileName: String): String;
    var
      FileHandle: File;
      s,line: string;
      ok: 0..1;
      Buf: array[1..8] of Char;
      k: longword;
      i,ReadCount: integer;
    begin
      AssignFile (FileHandle,FileName);
      Reset (FileHandle);           // or for binary files: Reset (FileHandle,1);
      ok := 0;
      k := FileSize (FileHandle);
      Seek (FileHandle, k-1);
      s := '';
      while ok<>1 do begin
        BlockRead (FileHandle, buf, SizeOf(Buf)-1, ReadCount);  //BlockRead ( var FileHandle : File; var Buffer; RecordCount : Integer {; var RecordsRead : Integer} ) ;
        if ord (buf[1]) <>13 then         //Arg to integer
          s := s + buf[1]
        else
          ok := ok + 1;
        k := k-1;
        seek (FileHandle,k);
      end;
      CloseFile (FileHandle);

      // Reverse the order in the line read
      setlength (line,length(s));
      for i:=1 to length(s) do
        line[length(s) - i+1 ] := s[i];
      Result := Line;
    end;

基於www.delphipages.com/forum/showthread.php?t=102965

測試文件是我在excel中創建的簡單CSV（這不是我最終需要讀取的100MB）。

    a,b,c,d,e,f,g,h,i,j,blank
    A,B,C,D,E,F,G,H,I,J,blank
    1,2,3,4,5,6,7,8,9,0,blank
    Mary,had,a,little,lamb,His,fleece,was,white,as,snow
    And,everywhere,that,Mary,went,The,lamb,was,sure,to,go

Answer 1

您確實必須從尾到頭以大塊讀取文件。 由於它太大，無法容納內存，因此從頭到尾逐行讀取它會非常慢。 使用ReadLn慢兩次。

您還必須准備好最后一行可能以EOL結尾或不以EOL結尾。

就我個人而言，我還將說明三個可能的EOL序列：

• CR / LF aka＃13＃10 = ^ M ^ J-DOS / Windows樣式
• 不帶LF的CR-僅＃13 = ^ M-經典MacOS文件
• 沒有CR的LF-僅＃10 = ^ J-UNIX樣式，包括MacOS版本10

如果確定您的CSV文件只能由本機Windows程序生成，則可以假定使用完整的CR / LF。 但是，如果還有其他Java程序，非Windows平台，移動程序-我不太確定。 當然，沒有LF的純CR將是所有這些中最不可能的情況。

uses System.IOUtils, System.Math, System.Classes;

type FileChar = AnsiChar; FileString = AnsiString; // for non-Unicode files
// type FileChar = WideChar; FileString = UnicodeString;// for UTF16 and UCS-2 files
const FileCharSize = SizeOf(FileChar);
// somewhere later in the code add: Assert(FileCharSize = SizeOf(FileString[1]);

function ReadLastLine(const FileName: String): FileString; overload; forward;

const PageSize = 4*1024; 
// the minimal read atom of most modern HDD and the memory allocation atom of Win32
// since the chances your file would have lines longer than 4Kb are very small - I would not increase it to several atoms.

function ReadLastLine(const Lines: TStringDynArray): FileString; overload;
var i: integer;
begin
  Result := '';
  i := High(Lines);
  if i < Low(Lines) then exit; // empty array - empty file

  Result := Lines[i];
  if Result > '' then exit; // we got the line

  Dec(i); // skip the empty ghost line, in case last line was CRLF-terminated
  if i < Low(Lines) then exit; // that ghost was the only line in the empty file
  Result := Lines[i];
end;

// scan for EOLs in not-yet-scanned part
function FindLastLine(buffer: TArray<FileChar>; const OldRead : Integer; 
     const LastChunk: Boolean; out Line: FileString): boolean;
var i, tailCRLF: integer; c: FileChar;
begin
  Result := False;
  if Length(Buffer) = 0 then exit;

  i := High(Buffer);    
  tailCRLF := 0; // test for trailing CR/LF
  if Buffer[i] = ^J then begin // LF - single, or after CR
     Dec(i);
     Inc(tailCRLF);
  end;
  if (i >= Low(Buffer)) and (Buffer[i] = ^M) then begin // CR, alone or before LF
     Inc(tailCRLF);
  end;

  i := High(Buffer) - Max(OldRead, tailCRLF);
  if i - Low(Buffer) < 0 then exit; // no new data to read - results would be like before

  if OldRead > 0 then Inc(i); // the CR/LF pair could be sliced between new and previous buffer - so need to start a bit earlier

  for i := i downto Low(Buffer) do begin
      c := Buffer[i];
      if (c=^J) or (c=^M) then begin // found EOL
         SetString( Line, @Buffer[i+1], High(Buffer) - tailCRLF - i);
         exit(True); 
      end;
  end;  

  // we did not find non-terminating EOL in the buffer (except maybe trailing),
  // now we should ask for more file content, if there is still left any
  // or take the entire file (without trailing EOL if any)

  if LastChunk then begin
     SetString( Line, @Buffer[ Low(Buffer) ], Length(Buffer) - tailCRLF);
     Result := true;
  end;
end;


function ReadLastLine(const FileName: String): FileString; overload;
var Buffer, tmp: TArray<FileChar>; 
    // dynamic arrays - eases memory management and protect from stack corruption
    FS: TFileStream; FSize, NewPos: Int64; 
    OldRead, NewLen : Integer; EndOfFile: boolean;
begin
  Result := '';
  FS := TFile.OpenRead(FileName);
  try
    FSize := FS.Size;
    if FSize <= PageSize then begin // small file, we can be lazy!
       FreeAndNil(FS);  // free the handle and avoid double-free in finally
       Result := ReadLastLine( TFile.ReadAllLines( FileName, TEncoding.ANSI )); 
          // or TEncoding.UTF16
          // warning - TFIle is not share-aware, if the file is being written to by another app
       exit;
    end;

    SetLength( Buffer, PageSize div FileCharSize);
    OldRead := 0;
    repeat
      NewPos := FSize - Length(Buffer)*FileCharSize;
      EndOfFile := NewPos <= 0;
      if NewPos < 0 then NewPos := 0; 
      FS.Position := NewPos;

      FS.ReadBuffer( Buffer[Low(Buffer)], (Length(Buffer) - OldRead)*FileCharSize);

      if FindLastLine(Buffer, OldRead, EndOfFile, Result) then 
         exit; // done !

      tmp := Buffer; Buffer := nil; // flip-flop: preparing to broaden our mouth

      OldRead := Length(tmp); // need not to re-scan the tail again and again when expanding our scanning range
      NewLen := Min( 2*Length(tmp), FSize div FileCharSize );

      SetLength(Buffer, NewLen); // this may trigger EOutOfMemory...
      Move( tmp[Low(tmp)], Buffer[High(Buffer)-OldRead+1], OldRead*FileCharSize);
      tmp := nil; // free old buffer
    until EndOfFile;
  finally
    FS.Free;
  end;
end;

PS。 請注意一種額外的特殊情況-如果您將使用Unicode字符（兩個字節的字符）並給出奇數長度的文件（3個字節，5個字節等）-您將永遠無法掃描開始的單個字節（半寬字符） ）。 也許您應該在那里添加額外的保護，例如Assert( 0 = FS.Size mod FileCharSize)

PPS。 根據經驗，最好將這些函數保留在表單類之外，因為這為什么要混合它們？ 通常，您應該將關注點分成小塊。 讀取文件與用戶互動毫無關系-因此最好將其卸載到額外的UNIT中。 這樣，您就可以在主線程或多線程應用程序中以一種或10種形式使用該單元的功能。 就像樂高零件一樣，它們體積小且分離，為您提供靈活性。

購買力平價。 這里的另一種方法是使用內存映射文件 。 Google for Delphi的MMF實施以及有關MMF方法的優點和問題的文章。 我個人認為重寫上面的代碼以使用MMF會大大簡化它，從而消除了一些“特殊情況”以及麻煩的內存復制觸發器。 OTOH，它將要求您對指針算法非常嚴格。

• https://en.wikipedia.org/wiki/Memory-mapped_file
• https://msdn.microsoft.com/en-us/library/ms810613.aspx
• http://torry.net/quicksearchd.php?String=memory+map&Title=No

Answer 2

您的char類型是兩個字節，因此緩沖區是16個字節。 然后使用塊讀取，將sizeof（buffer）-1字節讀入其中，並檢查前2個字節的char是否等於＃13。

sizeof（buffer）-1是狡猾的（-1是從哪里來的？），其余的都是有效的，但前提是您的輸入文件是utf16。

同樣，您每次都讀取8（或16）個字符，但只比較一個，然后再次進行查找。 這也不是很合邏輯。

如果您的編碼不是utf16，建議您將緩沖區元素的類型更改為ansichar並刪除-1

Answer 3

只是想到一個新的解決方案。

再次，可能會有更好的選擇，但這是我想到的最好的選擇。

function GetLastLine(textFilePath: string): string;
var
  list: tstringlist;
begin
  list := tstringlist.Create;
  try
    list.LoadFromFile(textFilePath);
    result := list[list.Count-1];
  finally
     list.free;
  end;
end;

Answer 4

為了響應kopiks的建議，我想出了如何使用TFilestream進行操作，它可以與簡單的測試文件一起使用，盡管我在各種csv文件上使用它可能還要再等幾個星期。 另外，我沒有任何宣稱這是最有效的方法。

    procedure TForm1.Button6Click(Sender: TObject);
    Var
      StreamSize, ApproxNumRows : Integer;
      TempStr : String;
    begin
      if OpenDialog1.Execute then begin
        TempStr := ReadLastLineOfTextFile(OpenDialog1.FileName,StreamSize, ApproxNumRows);
    //    TempStr := ReadFileStream('c:\temp\CSVTestFile.csv');
        ShowMessage ('approximately '+ IntToStr(ApproxNumRows)+' Rows');
        ListBox1.Items.Add(TempStr);
      end;
    end;

      Function TForm1.ReadLastLineOfTextFile(const FileName: String; var StreamSize, ApproxNumRows : Integer): String;
        const
          MAXLINELENGTH = 256;
        var
          Stream: TFileStream;
          BlockSize,CharCount : integer;
          Hash13Found : Boolean;
          Buffer : array [0..MAXLINELENGTH] of AnsiChar;
        begin
          Hash13Found := False;
          Result :='';
          Stream      := TFileStream.Create(FileName, fmOpenRead or fmShareDenyWrite);
          StreamSize := Stream.size;

          if StreamSize < MAXLINELENGTH then
            BlockSize := StreamSize
          Else
            BlockSize := MAXLINELENGTH;

        //  for CharCount := 0 to Length(Buffer)-1 do begin
        //    Buffer[CharCount] := #0;                         // zeroing the buffer can aid diagnostics
        //  end;

          CharCount := 0;
          Repeat
            Stream.Seek(-(CharCount+3), 2);         //+3 misses out the #0,#10,#13 at the end of the file
            Stream.Read( Buffer[CharCount], 1);
            Result := String(Buffer[CharCount]) + result;
            if Buffer[CharCount] =#13 then
              Hash13Found := True;
            Inc(CharCount);
          Until Hash13Found OR (CharCount = BlockSize);

          ShowMessage(Result);
          ApproxNumRows := Round(StreamSize / CharCount);
        end;