有效地將“1”和“-1”數組寫入/讀取到二進制文件

Question

我是一名計算物理學研究生，我的研究要求我編寫一個大數組，將“1”和“-1”的值存儲到二進制文件中。 目前我提出了以下MWE：

#include <fstream>
#include <sstream>
#include <bitset>

const int Num = 1024;

std::string int_array_to_string(int state[], int start, int finish){
    std::ostringstream oss("");
    for (int i=start; i<start+finish; i++)
        switch(state[i]){
            case -1: oss << 0; break;
            case  1: oss << 1; break;
        }
    return oss.str();
}
void printToBinary(int state[], std::ostream &output){
    for (int i=0; i<Num; i+=32){
        std::bitset<32> x( int_array_to_string(state, i, 32));
        unsigned long n = x.to_ulong();
        output.write(reinterpret_cast<const char*>(&n), sizeof(n));
    }
}
void fakeUpSomeData(int state[]){
    int ans = 1;
    for (int i=0; i<Num; i++){
        ans *= -1;
        state[i] = ans;
    }
}
int main(void){
    int state[Num] = {0};
    fakeUpSomeData(state);

    std::ofstream output("output.bin", std::ios::binary);

    printToBinary(state, output);

    return 0;
}

然而，這使我的程序運行速度比以前慢了三倍，我確信必須有更好的方法來做到這一點。

此外，能夠稍后注冊數據塊也很有用，也就是說，如果我存儲三個狀態

{1,-1,1}
{1,-1,1}
{1,1,-1}

如果存在一種方法可以讀取第一個塊，然后是第二個塊，然后是第三個塊，那么它會很有用。

為什么我需要這樣做的一些背景/推理：我需要存儲大約 1024*1e5 到 9632*1e6 這些整數來計算中子散射的低/高分辨率預測。 因此，能夠讀出一些大小為“N”的塊將非常有用，而不是將 1e6 個單獨的二進制文件存儲在一個文件夾中（只是輸入該選項聽起來很荒謬！）。

最后，我考慮過使用 HDF5 包，但它似乎有點矯枉過正，而且我無法讓 MWE 使用它。

任何關於如何改進 MWE 的想法將不勝感激，並感謝您的時間。

Answer 1

看看這個答案： 用 C++ 寫一個二進制文件非常快

總之，嘗試使用 C 風格的 I/O，即忘記輸出流並使用 open() 和 write() 直接寫入文件描述符。

您甚至可以使用 read() 的緩沖區大小與將 NxN 二進制狀態存儲在單個塊中所需的字節數相同，並一次讀取一個。