在Windows 7上读取文件速度很慢

Question

基本的C ++问题在这里。 我正在尝试在Windows 7 Pro上读取大文件。 C ++编译器是Visual Studio2010。（版本16.0）。 我发现该程序在Windows 7上的运行速度比在同一盒子上运行Ubuntu的虚拟机的运行速度慢约5倍。 使用gcc 4.4.3。的Ubuntu版本10.04 该文件相当大，约为900MB。 所讨论的代码可以缩小为以下代码段。 有关Windows特定调整以更快地读取文件的任何线索？ 该文件大约有1700万行，在Windows 7上大约需要13秒，在Ubuntu（这是同一Windows 7机器上的VM）上大约需要2.3秒。 我在Visual c ++上使用/ O2标志，在Ubuntu / gcc 4.4.3上使用-O3

谢谢

#include <iostream>
#include <string>
#include <fstream>

using namespace std;

int main(int argc, char *argv[])
{
    const char* test_file_path = argv[1];
    ifstream ifs(test_file_path);

    if (!ifs.is_open()) {
    cout << "Could not open " << test_file_path << endl;
    return 0;
    }

    unsigned long line_count = 1;
    unsigned long sum = 0;
    string line;
    // Go through all the lines in the file
    while (getline(ifs, line)) {
        line_count++;
    }
    cout << line_count << '\n';
    return 0;
}

编辑：尝试过由安德斯（Anders）提高内存映射文件建议，时间降至1.2秒。 看起来像Ubuntu的默认设置，而在Windows上则需要明确。 谢谢安德斯。

Answer 1

如果您担心性能，建议您退出C ++世界，进入Win32 API文件处理（例如，内存映射文件，boost为此提供一个库）。

Answer 2

通常，如果您担心性能，最好使用缓存而不是系统缓存。 根据getline()的实现，它可能非常慢。 例如，标准的fread()实现使用4kb的内部缓存，因此将有许多I / O调用。 因此，请实现一些缓存并使用getline() 。

但是在这种情况下，我认为问题出在其他地方。 从标准HDD读取数据时，您将获得约80-100mb / s的速度，这对于您的特定文件而言，在最佳情况下将提供约10秒的时间。 您的情况下的处理逻辑非常简单，因此HDD将成为瓶颈。 这种差异有两个可能的原因：

1）Windows对文件的缓存（在Windows中的第一个测试将其放入缓存中，因此下一次从VM读取同一文件是从系统缓存中进行的）

2）如果文件位于VM的文件系统中，并且VM对HDD使用了压缩（将该文件视为文本文件，则可以高度压缩），那么HDD I / O的实际数量将少得多。