有效地将“1”和“-1”数组写入/读取到二进制文件

Question

我是一名计算物理学研究生，我的研究要求我编写一个大数组，将“1”和“-1”的值存储到二进制文件中。 目前我提出了以下MWE：

#include <fstream>
#include <sstream>
#include <bitset>

const int Num = 1024;

std::string int_array_to_string(int state[], int start, int finish){
    std::ostringstream oss("");
    for (int i=start; i<start+finish; i++)
        switch(state[i]){
            case -1: oss << 0; break;
            case  1: oss << 1; break;
        }
    return oss.str();
}
void printToBinary(int state[], std::ostream &output){
    for (int i=0; i<Num; i+=32){
        std::bitset<32> x( int_array_to_string(state, i, 32));
        unsigned long n = x.to_ulong();
        output.write(reinterpret_cast<const char*>(&n), sizeof(n));
    }
}
void fakeUpSomeData(int state[]){
    int ans = 1;
    for (int i=0; i<Num; i++){
        ans *= -1;
        state[i] = ans;
    }
}
int main(void){
    int state[Num] = {0};
    fakeUpSomeData(state);

    std::ofstream output("output.bin", std::ios::binary);

    printToBinary(state, output);

    return 0;
}

然而，这使我的程序运行速度比以前慢了三倍，我确信必须有更好的方法来做到这一点。

此外，能够稍后注册数据块也很有用，也就是说，如果我存储三个状态

{1,-1,1}
{1,-1,1}
{1,1,-1}

如果存在一种方法可以读取第一个块，然后是第二个块，然后是第三个块，那么它会很有用。

为什么我需要这样做的一些背景/推理：我需要存储大约 1024*1e5 到 9632*1e6 这些整数来计算中子散射的低/高分辨率预测。 因此，能够读出一些大小为“N”的块将非常有用，而不是将 1e6 个单独的二进制文件存储在一个文件夹中（只是输入该选项听起来很荒谬！）。

最后，我考虑过使用 HDF5 包，但它似乎有点矫枉过正，而且我无法让 MWE 使用它。

任何关于如何改进 MWE 的想法将不胜感激，并感谢您的时间。

Answer 1

看看这个答案： 用 C++ 写一个二进制文件非常快

总之，尝试使用 C 风格的 I/O，即忘记输出流并使用 open() 和 write() 直接写入文件描述符。

您甚至可以使用 read() 的缓冲区大小与将 NxN 二进制状态存储在单个块中所需的字节数相同，并一次读取一个。