如果我使用fread會出錯，而使用read則不會出錯

Question

我正在嘗試使用緩存而不是使用緩存對磁盤I / O進行一些實驗。 為了直接從磁盤執行讀取，我使用O_DIRECT標志（定義變量DISK_DIRECT）打開文件。

現在，如果在下面，則if的兩個分支應該執行相同的操作，不同之處在於一個由緩存幫助，另一個不由緩存幫助。 我嘗試訪問的文件存儲在磁盤上，並且它們不會隨時間變化。 同樣，兩個分支訪問相同的文件。

在這里的某個時候，當我使用fread時，我會得到ferror（）為真。 當我使用read時，一切都很好。

我確定他們訪問相同的文件。 您知道為什么會發生這種情況嗎？

編輯

好的，我在這里發布一個最小的示例。 我使用的代碼是：

#include <iostream>
#include <fcntl.h>
#include <sys/types.h>
#include <unistd.h>
#include <fstream>
#include <sstream>


using namespace std;

typedef float fftwf_complex [2] ;

void fetch_level(unsigned long long tid, unsigned short level, fftwf_complex* P_read, fftwf_complex* P_fread, int n_coeff_per_level, FILE** files_o_direct, fstream* & files) {

  int b_read;
  fseek(files_o_direct[level],(long int) (tid * sizeof(fftwf_complex)*n_coeff_per_level), SEEK_SET);


  b_read = fread(reinterpret_cast<char*>(P_fread),sizeof(fftwf_complex), n_coeff_per_level,files_o_direct[level]);

  if(b_read == 0){ 
    cerr << "nothing read\n";

  }

  files[level].seekg((streamoff) (tid * sizeof(fftwf_complex)*n_coeff_per_level), files[level].beg);

  files[level].read(reinterpret_cast<char*>(P_read), 
            sizeof(fftwf_complex) * n_coeff_per_level);

}

void open_files (fstream* & files){

  for(int i=0; i<1;i++) {
    std::ostringstream oss;
    oss << "./Test_fread_read/1.txt.bin";

    files[i].open(oss.str().c_str(),
          std::ios::in | std::ios::out | 
          std::ios::binary | std::ios::ate);
    if (!files[i])
      {
    cerr << "fstream could not open " << oss.str() << endl;
      }
  }
}

void open_files_o_direct (FILE** files_o_direct, int* fd){

  for(unsigned int i=0;i<1; i++){
    std::ostringstream oss;
    oss << "./Test_fread_read/1.txt.bin";
    fd[i]=open(oss.str().c_str(), O_RDONLY | O_DIRECT);
    files_o_direct[i] = fdopen(fd[i], "rb");

    if(!files_o_direct[i])
      cerr << "Could not open " << oss.str() << endl;

  }
}

int close_files(FILE** files_o_direct, int* fd, fstream* & files) {

  for(unsigned int i=0; i<1; i++){
    //#if defined (DISK_DIRECT)
    if(files_o_direct[i])
      close(fd[i]);
    //#else
    if(files[i].is_open())
      files[i].close();
    //#endif
  }

  return 0;
}

int main(){

  FILE**files_o_direct = new FILE* [256];
  fstream* files = new fstream [256];
  int * fd = new int [256];


  fftwf_complex * P_read =  new fftwf_complex [1];
  fftwf_complex * P_fread =  new fftwf_complex [1];

  open_files_o_direct(files_o_direct, fd);
  open_files(files);

fetch_level(2, 0, P_read, P_fread, 1, files_o_direct, files);
  cout << "P_read: " << P_read[0][0] << " P_fread: " << P_fread[0][0] << endl;
  cout << "P_read: " << P_read[0][1] << " P_fread: " << P_fread[0][1] << endl;
fetch_level(7, 0, P_read, P_fread, 1, files_o_direct, files);
  cout << "P_read: " << P_read[0][0] << " P_fread: " << P_fread[0][0] << endl;
  cout << "P_read: " << P_read[0][1] << " P_fread: " << P_fread[0][1] << endl;
fetch_level(8, 0, P_read, P_fread, 1, files_o_direct, files);
  cout << "P_read: " << P_read[0][0] << " P_fread: " << P_fread[0][0] << endl;
  cout << "P_read: " << P_read[0][1] << " P_fread: " << P_fread[0][1] << endl;


  close_files(files_o_direct, fd, files);

  delete [] P_read;
  delete [] P_fread;
  delete [] files;
  delete [] files_o_direct;

  return 0;
}

所訪問的文件是：

0.133919 0.0458176 
1.67441 2.40805 
0.997525 -0.279977 
-2.39672 -3.076 
-0.0390913 0.854464 
-0.0176478 -1.3142 
-0.667981 -0.486272 
0.831051 0.282802 
-0.638032 -0.630943 
-0.669854 -1.49762 

它以二進制格式存儲，可以從此處下載：1.txt.bin 。

我得到的輸出是：

nothing read
P_read: 0.997525 P_fread: 0
P_read: -0.279977 P_fread: 0
nothing read
P_read: 0.831051 P_fread: 0
P_read: 0.282802 P_fread: 0
nothing read
P_read: -0.638032 P_fread: 0
P_read: -0.630943 P_fread: 0

即使我將fftwf_complex的類型從float [2]更改為簡單float，問題仍然存在。 如果我刪除fseek行，一切正常。

Answer 1

if (b_read == 0) ，則在文件末尾為true，您將進入此分支

if(ferror(this->files_o_direct[level]))
    fseek(this->files_o_direct[level], 0, SEEK_END); //ftell here returns 4800000 
cerr << "nothing read\n";

即使ferror返回0，也無論如何都到達了文件的末尾

fseek(this->files_o_direct[level], 0, SEEK_END);

是沒有意義的，而且"nothing read\\n"將被輸出或者不能ferror返回非零值。

從手冊頁

fread（）不能區分文件結尾和錯誤，調用者必須使用feof（3）和ferror（3）來確定發生了什么。

因此，您必須檢查feof ，如果它是假的，則使用ferror 。

Answer 2

對於可能遇到相同問題的人，這里有答案：

O_DIRECT標志可能對用戶空間緩沖區的長度和地址以及I / O的文件偏移量施加對齊限制。 在Linux中，對齊限制因文件系統和內核版本而異，並且可能完全不存在。 但是，當前沒有應用程序獨立於文件系統的接口來發現給定文件或文件系統的這些限制。 某些文件系統為此提供了自己的接口，例如xfsctl（3）中的XFS_IOC_DIOINFO操作。

  Under Linux 2.4, transfer sizes, and the alignment of the user buffer and the file offset must all be multiples of the logical block size of the filesystem. Since Linux 2.6.0, alignment to the logical block size of the underlying storage (typically 512 bytes) suffices. The logical block size can be determined using the ioctl(2) BLKSSZGET operation or from the shell using the command: blockdev --getss 

linux參考頁