如何在 C++ 中有效地从 .txt 加载数据？

Question

我目前正在使用 fstream 加载数据，为 7.1GB，使用 C++。 .txt 文件如下所示：

 item1  2.87  4.64  ... 
 item2  5.89  9.24  ... 
 ...     ...   ...  ... 

它有 300000 行和 201 列（项目名称为 1 列，权重为 200），每个单元格都有一个双精度类型编号。 我现在做的是这样的：

ifstream click_log(R"(1.txt)", ifstream::in);
string line;
unordered_map<string, vector<double>> dict;
while (getline(click_log, line)){
    istringstream record(line);
    string key;
    vector<double> weights;
    double weight;
    record >> key;
    while (record >> weight){
        weights.push_back(weight);
    }
    dict[key] = weights;
}

但是，我的电脑（AMD 3700X，8 核）大约需要 30 分钟才能完全加载文件。 它之所以慢是因为它的 O(m*n) 复杂性，还是仅仅是将字符串转换为双精度的事实很慢？ 从.txt 加载数据的最有效方法是什么？

Answer 1

您不应在每次循环迭代时重新创建变量。 一劳永逸地创建它们，然后您可以在需要时重新分配它们。

如果您想使用std::vector而不是std::array<double, 200> ，那么您应该reserve(200)所有向量，以避免由于std::vector导致的大量重新分配/复制/释放的机械。

你可以对你的std::unordered_map做同样的事情。

最后，将您的数据直接写入目标容器，您不需要使用那么多临时文件（这将消除所有这些不必要的副本所造成的巨大开销）。

考虑到这些准则，我已经重写了您的代码。 我敢打赌它会增加你的表现：

int main()
{
    std::ifstream ifs("..\\tests\\data\\some_data.txt"); // Replace with your file
    if(!ifs)
        return -1;
    
    std::unordered_map<std::string, std::array<double, 200>> dict;
    dict.reserve(300000);
    
    std::string line;
    std::string key;
    double weight;
    std::size_t i;
    
    while(getline(ifs, line))
    {
        std::istringstream record(line);
        i = 0;
    
        record >> key;
    
        while(record >> weight)
        {
            dict[key].at(i++) = weight;
        }
    }

    ifs.close();

    // The whole file is loaded

    return 0;
}

当然，我并不认为这是最有效的方法。 我相信我们可以带来更多我当时没有想到的改进。

无论如何，请记住，您可能仍然会遇到硬盘访问、IO 操作的瓶颈......