在Ubuntu中解析数据比Windows 10更快

Question

我正在将数据从.txt文件（100 MB-4 GB）流化并解析为向量。 在Ubuntu 19.04中解析数据比在Windows 10中解析数据要快得多。我如何做才能加快Windows中的解析过程？

我已经在两个操作系统中使用std :: getline测试了流传输速度，并且流传输速度相似。 我已经在单独的网站上发布了http://www.cplusplus.com/forum/general/254030/ （我认为问题出在文件系统上），但我了解到更多原因是由于以某种方式解析了数据。 除了在代码中使用运算符外，我不确定是否有其他方法可以解析数据。 这是我用于解析数据以在Windows和Ubuntu上测试时间的代码：

unsigned int date, time, mil;
double last, bid, ask;
unsigned int volume;
char delim;
int lineCount{0};

if (dataFile.is_open())
{
    while (dataFile >> date >> time >> mil >> delim >> last >> delim >> 
           bid >> delim >> ask >> delim >> volume)
    {
        lineCount++;
    }
}

这是我用来读取文件以测试Windows和Ubuntu速度的代码：

int lineCount{0};
string line;

while (getline(dataFile, line))
{
    lineCount++;
}

这是在每个OS上的两个测试的结果：

Ubuntu 19.04 with parsing:
execution time : 1.352 s

Windows 10 with parsing:
execution time : 27.474 s

Ubuntu 19.04 without parsing (just reading file):
execution time : 0.059 s

Windows 10 without parsing (just reading file):
execution time : 0.922 s

我以为Linux和Windows的性能相似，但是结果却截然不同。 我用于测试的文件只有64.9 MB

Answer 1

如果没有分析器的结果以及如何编译，很难回答您的问题。

例如，如果您以调试模式在MSVS 19上运行该程序，它将非常慢。 如果您在发布模式下运行它并启用了所有优化功能，那么它将大大加快速度。

然后，下一步。 运行事件探查器。 它会告诉您程序在哪里运行缓慢。 它不一定是解析，而是最谎言的阅读。

使用更大的缓冲区可以极大地加快文件读取速度。 然后，您还应该初始化向量大小和保留大小。

并使用emplace_back而不是push_back 。

请尝试以下方法：

#include <iostream>
#include <fstream>
#include <vector>


struct Data
{
    unsigned int date, time, mil;
    double last, bid, ask;
    unsigned int volume;
};

int main()
{
    // Create a vector with an big initial size
    std::vector<Data> fullData(10000);
    // If reallocation is neccessary, then use big data
    fullData.reserve(20000);


    // Variables to read
    unsigned int date{}, time{}, mil{};
    double last{}, bid{}, ask{};
    unsigned int volume{};
    char delim{};


    std::ifstream dataFile;
    // Big buffer for reading
    char buf[100000];
    // Set a big input buffer
    dataFile.rdbuf()->pubsetbuf(buf, sizeof buf);

    dataFile.open("yourFile.dat");
    if (dataFile.is_open())
    {
        while (dataFile >> date >> time >> mil >> delim >> last >> delim >>
            bid >> delim >> ask >> delim >> volume)
        {
            fullData.emplace_back(Data{ date, time, mil, last, bid, ask, volume });
        }
    }
    return 0;
} 

如果这仍然很慢，我会很感兴趣。 。 。